📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/09/20/linguistic-bias/
原文作者：Eve Fleisig, Genevieve Smith, Madeline Bossi, Ishita Rustagi, Xavier Yin, and Dan Klein
ChatGPT的语言偏见：大语言模型加剧对手型英语方言的歧视
语言模型对不同英语变体和母语使用者反应的样本。
ChatGPT在与人进行英语交流方面表现出色。但它主要与谁的英语交流呢？
据Similarweb统计，只有15%的ChatGPT用户来自美国，而美式标准英语（Standard American English, SAE）是默认语言。然而，该模型在世界各地拥有大量用户，这些地区的人们使用其他英语变体，如印度英语、尼日利亚英语、爱尔兰英语和非裔美国人英语（African-American English, AAE）。全球有超过10亿人说这些方言。
这些非“标准”英语的使用者在现实世界中经常面临歧视。他们被告知他们的说话方式不专业或不正确，被视为可疑证人，甚至被拒绝住房——尽管有大量研究表明，所有语言变体在复杂性和合法性上都是平等的。歧视某人的说话方式，往往是歧视其种族、民族或国籍的替代指标。如果ChatGPT加剧了这种歧视怎么办？
为了回答这个问题，我们最近的一篇论文研究了ChatGPT的行为如何响应不同英语变体的文本输入。我们发现，ChatGPT的回复在“标准”变体与非“标准”变体之间表现出持续且普遍的偏见，包括更多的刻板印象和贬低性内容、更差的理解能力以及居高临下的回应。
我们的研究设计
我们使用十种英语变体对GPT-3.5 Turbo和GPT-4进行了提示：两种“标准”变体——美式标准英语（SAE）和英式标准英语（SBE）；以及八种非“标准”变体：非裔美国人英语、印度英语、爱尔兰英语、牙买加英语、肯尼亚英语、尼日利亚英语、苏格兰英语和新加坡英语。
首先，我们想知道输入文本中存在的某个变体的语言特征是否会在GPT-3.5 Turbo的回复中保留下来。我们对提示和模型回复进行了语言特征标注，以及是否使用了美式或英式拼写（例如，“color”或“colour”）。这有助于我们了解ChatGPT何时模仿或不模仿某种变体，以及哪些因素可能影响模仿的程度。
然后，我们请每种变体的母语使用者对模型回复的各种质量进行评分，包括积极方面（如热情、理解力和自然度）和消极方面（如刻板印象、贬低性内容或居高临下）。我们评估了原始的GPT-3.5回复，以及模型被告知模仿输入风格的GPT-3.5和GPT-4的回复。
研究结果
我们预期ChatGPT默认会产生美式标准英语：该模型在美国开发，而且SAE很可能是其训练数据中代表性最强的变体。我们确实发现，模型回复保留SAE特征的比例远高于任何非“标准”方言（高出60%以上）。但令人惊讶的是，模型确实会模仿其他英语变体，尽管并不一致。事实上，它模仿说话者更多的变体（如尼日利亚英语和印度英语）的频率高于说话者较少的变体（如牙买加英语）。这表明训练数据的构成影响了对非“标准”方言的响应。
ChatGPT在某些方面也固守美式惯例，这可能会让非美国用户感到沮丧。例如，对于使用英式拼写（大多数非美国国家的默认设置）的输入，模型回复几乎普遍会恢复为美式拼写。这可能会阻碍很大一部分ChatGPT用户群，因为模型拒绝适应当地的书写习惯。
模型回复对非“标准”方言存在持续偏见。
默认情况下，GPT-3.5对非“标准”方言的回复持续出现一系列问题：刻板印象（比“标准”方言差19%）、贬低性内容（差25%）、理解力不足（差9%）和居高临下的回复（差15%）。
母语使用者对模型回复的评分。在刻板印象（差19%）、贬低性内容（差25%）、理解力（差9%）、自然度（差8%）和居高临下（差15%）方面，对非“标准”方言的回复（蓝色）的评分低于对“标准”方言的回复（橙色）。
当GPT-3.5被要求模仿输入方言时，回复使得刻板印象内容（差9%）和理解力不足（差6%）的问题加剧了。GPT-4是比GPT-3.5更新、更强大的模型，因此我们希望它能在GPT-3.5的基础上有所改进。但尽管GPT-4模仿输入的回复在热情、理解力和友好度方面有所改善，但它们对边缘化方言的刻板印象却比GPT-3.5更严重（差14%）。这表明，更大、更新的模型并不能自动解决方言歧视问题：事实上，它们可能会使其恶化。
影响
ChatGPT可能会对非“标准”方言的使用者造成语言歧视的延续。如果这些用户在使用ChatGPT理解他们时遇到困难，他们就更难使用这些工具。随着人工智能模型越来越多地融入日常生活，这可能会加剧对非“标准”方言使用者的障碍。
此外，刻板印象和贬低性的回复助长了这样一种观念：非“标准”方言的使用者说话不够正确，不值得尊重。随着语言模型在全球范围内的使用增加，这些工具可能会固化权力结构，放大对边缘化语言社区有害的不平等现象。
了解更多信息：[ 论文 ]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区