📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/09/20/linguistic-bias/
原文作者：BAIR
不同英语方言的语言模型回应与母语使用者反应示例。
ChatGPT在用英语与人交流方面做得非常出色。但它与谁的英语交流呢？
只有15%的ChatGPT用户来自美国，在那里，标准美式英语（Standard American English, SAE）是默认的语言。但该模型也常在人们使用其他英语方言的国家和社区中使用。全球有超过10亿人说印度英语（Indian English）、尼日利亚英语（Nigerian English）、爱尔兰英语（Irish English）和非裔美国人英语（African-American English）等方言。
这些非“标准”方言的使用者在现实世界中常常面临歧视。他们曾被告知他们说话的方式是不专业的或不正确的，作为证人的可信度受到质疑，甚至被拒绝提供住房——尽管大量研究表明，所有语言变体都具有同等的复杂性和合法性。歧视某人说话的方式，通常是歧视其种族、民族或国籍的一种替代方式。如果ChatGPT加剧了这种歧视会怎么样呢？
为了回答这个问题，我们最近的论文研究了ChatGPT的行为如何响应不同英语方言的文本。我们发现，ChatGPT的回应对非“标准”方言表现出一致且普遍存在的偏见，包括增加刻板印象和贬低性内容、理解力较差以及居高临下的回应。
我们的研究
我们使用十种英语方言的文本提示了GPT-3.5 Turbo和GPT-4：两种“标准”方言，即标准美式英语（SAE）和标准英式英语（SBE）；以及八种非“标准”方言，即非裔美国人英语、印度英语、爱尔兰英语、牙买加英语、肯尼亚英语、尼日利亚英语、苏格兰英语和新加坡英语。然后，我们将语言模型对“标准”方言的回应与对非“标准”方言的回应进行了比较。
首先，我们想知道输入提示中存在的方言的语言特征是否会保留在GPT-3.5 Turbo对该提示的回应中。我们对提示和模型回应的语言特征以及它们是否使用美式或英式拼写（例如，“colour”或“practise”）进行了注释。这有助于我们了解ChatGPT何时模仿或不模仿某种方言，以及哪些因素可能影响模仿的程度。
然后，我们请每种方言的母语使用者对模型回应的不同质量进行评分，包括积极的（如热情、理解力和自然度）和消极的（如刻板印象、贬低性内容或居高临下）。在这里，我们包含了原始的GPT-3.5回应，以及GPT-3.5和GPT-4的回应——后者中，模型被告知要模仿输入的风格。
结果
我们预计ChatGPT会默认生成标准美式英语：该模型是在美国开发的，而且标准美式英语很可能是其训练数据中代表性最强的方言。我们确实发现模型回应保留SAE特征的程度远超任何非“标准”方言（高出60%以上）。但令人惊讶的是，该模型确实会模仿其他英语方言，尽管不一致。事实上，它模仿说的人更多的方言（如尼日利亚语和印度英语）的频率高于模仿的人更少的方言（如牙买加英语）。这表明训练数据的构成影响了对非“标准”方言的回应。
ChatGPT在某些方面也倾向于采用美国惯例，这可能会让非美国用户感到沮丧。例如，对于带有英式拼写（大多数非美国国家的默认拼写）的输入，模型回应几乎总是恢复为美式拼写。这可能会阻碍相当一部分ChatGPT用户，因为模型拒绝适应当地的书写习惯。
模型回应对非“标准”方言存在一致的偏见。GPT-3.5对非“标准”方言的默认回应持续表现出一系列问题：刻板印象（比对“标准”方言高出19%）、贬低性内容（高出25%）、缺乏理解力（高出9%）和居高临下的回应（高出15%）。
母语使用者对模型回应的评分。在刻板印象（高19%）、贬低性内容（高25%）、理解力（高9%）、自然度（高8%）和居高临下（高15%）方面，对非“标准”方言的回应（蓝色）的评分低于对“标准”方言（橙色）的回应。
当GPT-3.5被提示模仿输入方言时，回应会加剧刻板印象（高出9%）和理解力不足（高出6%）。GPT-4比GPT-3.5更新、更强大，所以我们希望它能在GPT-3.5的基础上有所改进。但是，尽管GPT-4模仿输入的后的回应在热情度、理解力和友好度方面优于GPT-3.5，但它们加剧了刻板印象（相对于GPT-3.5处理的少数族裔方言，高出14%）。这表明，更大、更新的模型并不能自动解决方言歧视问题：事实上，它们可能会使其恶化。
影响
ChatGPT可能会对非“标准”方言的使用者产生语言歧视的持续影响。如果这些用户难以让ChatGPT理解他们，他们就更难使用这些工具。随着人工智能模型越来越多地应用于日常生活，这可能会加强对非“标准”方言使用者的障碍。
此外，刻板印象和贬低性的回应会延续“非标准”方言的使用者说话不正确、不值得尊重的观念。随着语言模型在全球范围内的使用增加，这些工具可能会在无意中强化权力动态，并放大对少数语言社区造成伤害的不平等现象。
在此了解更多信息： [ 论文 ]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区