📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/09/20/linguistic-bias/
原文作者：BAIR
语言模型对不同英语变体和母语使用者反应的样本。
ChatGPT在用英语与人交流方面做得非常出色。但它是与谁的英语在交流呢？
只有15%的ChatGPT用户来自美国，而标准美式英语（SAE）是那里的默认语言。然而，该模型也常被用于人们说其他英语变体的国家和社区。全球有超过10亿人使用印度英语、尼日利亚英语、爱尔兰英语和非裔美国人英语等多种变体。
讲这些非“标准”英语的人在现实世界中常常面临歧视。他们曾被告知他们的说话方式不专业或不正确，被否认证词可信度，甚至被拒绝住房——尽管大量研究表明，所有语言变体都具有同等的复杂性和合法性。歧视某人的说话方式，往往是歧视其种族、族裔或国籍的替代指标。如果ChatGPT加剧了这种歧视会怎样呢？
为了回答这个问题，我们最近的论文研究了ChatGPT在回应不同英语变体文本时的行为变化。我们发现，ChatGPT的回应表现出对非“标准”变体一致且普遍存在的偏见，包括更多的刻板印象和贬低性内容、更差的理解能力以及居高临下的回应。
我们的研究
我们使用十种英语变体向GPT-3.5 Turbo和GPT-4发送了提示词：两种“标准”变体，即标准美式英语（SAE）和标准英式英语（SBE）；以及八种非“标准”变体：非裔美国人英语、印度英语、爱尔兰英语、牙买加英语、肯尼亚英语、尼日利亚英语、苏格兰英语和新加坡英语。然后，我们将语言模型对“标准”变体的回应与对非“标准”变体的回应进行了比较。
首先，我们想知道在提示词中出现的某种变体的语言特征是否会保留在GPT-3.5 Turbo对该提示词的回应中。我们对提示词和模型回应进行了标注，以确定每个变体的语言特征，以及它们是否使用了美式或英式拼写（例如，“colour”或“practise”）。这有助于我们了解ChatGPT何时模仿或不模仿某种变体，以及哪些因素可能影响模仿的程度。
接着，我们请每种变体的母语使用者对模型回应的不同质量进行评分，包括积极的（如热情、理解力和自然度）和消极的（如刻板印象、贬低性内容或居高临下）。在这里，我们纳入了原始的GPT-3.5回应，以及模型被告知要模仿输入风格的GPT-3.5和GPT-4的回应。
结果
我们预计ChatGPT默认会生成标准美式英语：该模型在美国开发，并且标准美式英语很可能是其训练数据中代表性最高的变体。我们确实发现，模型回应保留SAE特征的比例远高于任何非“标准”方言（高出60%以上）。但令人惊讶的是，该模型确实会模仿其他英语变体，尽管并不一致。事实上，它模仿使用者更多的变体（如尼日利亚英语和印度英语）的频率，高于模仿使用者较少的变体（如牙买加英语）的频率。这表明训练数据的构成影响了对非“标准”方言的回应。
ChatGPT还在可能使用户感到沮丧的方式上倾向于使用美式约定。例如，模型对使用英式拼写（大多数非美国国家/地区的默认拼写）的输入的回应，几乎普遍会恢复为美式拼写。这对于相当一部分ChatGPT用户基础来说，可能因为ChatGPT拒绝适应本地书写习惯而受到阻碍。
模型回应对非“标准”变体存在持续的偏见。默认的GPT-3.5回应在面对非“标准”变体时，持续表现出一系列问题：刻板印象（比对“标准”变体高出19%）、贬低性内容（高出25%）、理解力不足（高出9%）以及居高临下的回应（高出15%）。
母语使用者对模型回应的评分。在刻板印象（高出19%）、贬低性内容（高出25%）、理解力（高出9%）、自然度（高出8%）和居高临下（高出15%）方面，对非“标准”变体的回应（蓝色）的评分低于对“标准”变体（橙色）的回应。
当GPT-3.5被提示模仿输入方言时，回应加剧了刻板印象内容（高出9%）和理解力不足（高出6%）。GPT-4比GPT-3.5更新、更强大的模型，因此我们本应期望它能比GPT-3.5有所改进。但是，虽然GPT-4模仿输入的回应在热情、理解力和友好度方面确实优于GPT-3.5，但它们加剧了刻板印象（与GPT-3.5相比，对少数族裔变体高出14%）。这表明规模更大、更新的模型并不会自动解决方言歧视问题：事实上，它们可能会使其恶化。
影响
ChatGPT可能会对讲非“标准”变体的人群产生语言歧视的延续。如果这些用户在让ChatGPT理解他们方面遇到困难，那么他们使用这些工具的难度就更大。随着AI模型越来越多地被日常使用，这可能会加剧对非“标准”变体使用者的壁垒。
此外，刻板印象和贬低性的回应延续了一种观念，即讲非“标准”变体的人说话不够正确，不值得尊重。随着语言模型在全球范围内的使用增加，这些工具可能会加剧损害少数语言社区的权力动态和不平等现象。
了解更多信息：[ 论文 ]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区