📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/09/20/linguistic-bias/
原文作者：BAIR
语言模型对不同英语变体以及母语使用者反应的示例。
ChatGPT 在与人进行英语交流方面表现出色。但，是谁的英语呢？
根据 SimilarWeb 的数据，只有 15% 的 ChatGPT 用户来自美国，而在美国，标准美式英语（Standard American English, SAE）是默认语言。然而，该模型在许多其他英语社区和国家也被广泛使用。全球有超过 10 亿人说印度英语、尼日利亚英语、爱尔兰英语和非裔美国人英语等其他英语变体。
说这些非“标准”英语的人在现实世界中常常面临歧视。他们曾被告知他们的说话方式 不专业或不正确，他们的证词被可信度降低，甚至被拒绝提供住房——尽管有大量研究表明，所有语言变体在复杂性和合法性上都是平等的。歧视一个人的说话方式，往往是歧视其种族、族裔或国籍的替代指标。如果 ChatGPT 加剧了这种歧视怎么办？
为了回答这个问题，我们最近的一篇论文研究了 ChatGPT 对不同英语变体文本的反应如何变化。我们发现，ChatGPT 的回应在应对非“标准”变体时表现出一致且普遍的偏见，包括更多的刻板印象和贬低性内容、更差的理解力以及居高临下的回应。
我们的研究
我们使用十种英语变体向 GPT-3.5 Turbo 和 GPT-4 发送了提示：两种“标准”变体——标准美式英语（SAE）和标准英式英语（SBE）；以及八种非“标准”变体：非裔美国人英语、印度英语、爱尔兰英语、牙买加英语、肯尼亚英语、尼日利亚英语、苏格兰英语和新加坡英语。然后，我们将语言模型对“标准”变体的回应与对非“标准”变体的回应进行了比较。
首先，我们想知道提示中出现的特定语言变体的特征是否会保留在 GPT-3.5 Turbo 对该提示的回应中。我们对提示和模型回应中的每种变体的语言特征，以及它们是否使用美式或英式拼写（例如，“colour”或“practise”）进行了标注。这有助于我们了解 ChatGPT 何时模仿或不模仿某种变体，以及哪些因素可能影响模仿的程度。
接着，我们请每种变体的母语使用者对模型回应的各种质量进行评分，包括正面评价（如热情、理解和自然度）和负面评价（如刻板印象、贬低性内容或居高临下）。在这里，我们包含了原始的 GPT-3.5 回应，以及 GPT-3.5 和 GPT-4 的回应（模型被告知要模仿输入的风格）。
结果
我们预计 ChatGPT 默认会生成标准美式英语：该模型是在美国开发的，而且标准美式英语很可能在其训练数据中代表性最高。我们确实发现，模型回应保留 SAE 特征的程度远高于任何非“标准”方言（高出 60% 以上）。但令人惊讶的是，该模型确实会模仿其他英语变体，尽管并不一致。事实上，它模仿说话人数更多的变体（如尼日利亚语和印度英语）的频率，高于模仿说话人数较少的变体（如牙买加英语）。这表明训练数据的构成影响了对非“标准”方言的回应。
ChatGPT 还在可能令非美国用户感到沮丧的方面倾向于采用美式惯例。例如，对于使用英式拼写（大多数非美国国家的默认拼写）的输入，模型回应几乎普遍会恢复为美式拼写。这可能会阻碍相当大比例的 ChatGPT 用户，因为模型拒绝适应当地的书写习惯。
模型回应对非“标准”变体存在一致的偏见。 默认情况下，GPT-3.5 对非“标准”变体的回应持续存在一系列问题：刻板印象（比对“标准”变体高出 19%）、贬低性内容（高出 25%）、理解力不足（高出 9%）以及居高临下的回应（高出 15%）。
母语使用者对模型回应的评分。在刻板印象（高出 19%）、贬低性内容（高出 25%）、理解力（高出 9%）、自然度（高出 8%）和居高临下（高出 15%）方面，对非“标准”变体的回应（蓝色）的评分低于对“标准”变体的回应（橙色）。
当 GPT-3.5 被提示模仿输入方言时，回应反而加剧了刻板印象内容（高出 9%）和理解力不足（高出 6%）。GPT-4 比 GPT-3.5 更新、更强大的模型，所以我们本可以期望它比 GPT-3.5 有所改进。但是，虽然 GPT-4 模仿输入的回应在热情、理解力和友好度方面优于 GPT-3.5，但它们加剧了刻板印象（对于少数族裔变体比 GPT-3.5 高出 14%）。这表明，更大、更新的模型并不能自动解决方言歧视问题：事实上，它们可能会使其恶化。
影响
ChatGPT 可能会对非“标准”英语使用者的语言歧视行为持续存在。如果这些用户在让 ChatGPT 理解他们方面遇到困难，他们使用这些工具的难度就更大。随着人工智能模型越来越多地被用于日常生活，这可能会强化针对非“标准”使用者的话语壁垒。
此外，刻板印象和贬低性的回应会延续这样一种观念：非“标准”英语的使用者说话不够规范，不值得尊重。随着语言模型在全球范围内的使用增加，这些工具可能会加剧权力动态并放大对少数语言社区造成伤害的不平等现象。
了解更多信息：[ 论文 ]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区