📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/09/20/linguistic-bias/
原文作者：BAIR (Berkeley Artificial Intelligence Research)
语言模型对不同英语变体和母语使用者反应的示例。
ChatGPT在用英语与人交流方面表现出色。但它主要与谁的英语交流呢？
只有15%的ChatGPT用户来自美国，而标准美式英语（Standard American English, SAE）是那里的默认用语。但该模型也常被用于人们讲其他英语变体的国家和社区。全球有超过10亿人讲印度英语、尼日利亚英语、爱尔兰英语和非裔美国人英语等变体。
讲这些非“标准”变体的人在现实世界中常常面临歧视。他们被告知，他们的说话方式是不专业或不正确的，他们的证词被不予采信，甚至被拒绝住房——尽管有大量的研究表明，所有语言变体都同等复杂且具有合法性。歧视一个人的说话方式，往往是歧视其种族、族裔或国籍的替代指标。如果ChatGPT加剧了这种歧视会怎样呢？
为了回答这个问题，我们最近的论文研究了ChatGPT对不同英语变体文本的反应是如何变化的。我们发现，ChatGPT的回复对非“标准”变体表现出持续且普遍的偏见，包括刻板印象增加、贬低性内容、理解力下降和居高临下的回应。
我们的研究
我们使用十种英语变体提示了GPT-3.5 Turbo和GPT-4：两种“标准”变体，即标准美式英语（SAE）和标准英式英语（SBE）；以及八种非“标准”变体：非裔美国人、印度、爱尔兰、牙买加、肯尼亚、尼日利亚、苏格兰和新加坡英语。
首先，我们想知道输入提示中存在的某一变体的语言特征是否会保留在GPT-3.5 Turbo对该提示的回复中。我们根据每种变体的语言特征以及模型是否使用美式或英式拼写（例如，“colour”还是“practise”）来标注提示和模型回复。这有助于我们理解ChatGPT何时模仿或不模仿某种变体，以及哪些因素可能影响模仿的程度。
然后，我们请每种变体的母语使用者对模型回复的各种质量进行评分，包括正面（如热情、理解力和自然度）和负面（如刻板印象、贬低性内容或居高临下）。在这里，我们包含了原始的GPT-3.5回复，以及模型被告知模仿输入风格的GPT-3.5和GPT-4的回复。
结果
我们预期ChatGPT默认会生成标准美式英语：该模型在美国开发，而且标准美式英语很可能在其训练数据中代表性最强。我们确实发现，模型回复保留SAE特征的比例远高于任何非“标准”方言（超出约60%）。但令人惊讶的是，模型确实会模仿其他英语变体，尽管不一致。事实上，它模仿使用人数较多的变体（如尼日利亚语和印度英语）的频率高于模仿使用人数较少的变体（如牙买加英语）。这表明训练数据的构成影响了对非“标准”方言的回应。
ChatGPT在一些方面也默认采用美式惯例，这可能会让非美国用户感到沮丧。例如，对于使用英式拼写的输入（大多数非美国国家的默认拼写），模型回复几乎总是会恢复为美式拼写。这可能会阻碍了相当大比例的ChatGPT用户，因为模型拒绝适应本地的书写习惯。
模型回复对非“标准”变体存在持续偏见。 默认情况下，GPT-3.5对非“标准”变体的回复持续表现出一系列问题：刻板印象（比对“标准”变体高19%）、贬低性内容（高25%）、理解力缺乏（高9%）和居高临下的回应（高15%）。
母语使用者对模型回复的评分。在刻板印象（高19%）、贬低性内容（高25%）、理解力（高9%）、自然度（高8%）和居高临下（高15%）方面，对非“标准”变体（蓝色）的回复评分低于对“标准”变体（橙色）的回复。
当GPT-3.5被提示模仿输入方言时，回复加剧了刻板印象内容（高9%）和理解力缺乏（高6%）。GPT-4是比GPT-3.5更新、更强大的模型，我们希望它能超越GPT-3.5。但是，虽然模仿输入的GPT-4回复在热情度、理解力和友好度方面优于GPT-3.5，但它们加剧了刻板印象（相对于GPT-3.5，对少数族裔变体高出14%）。这表明，更大、更新的模型并不能自动解决方言歧视问题：事实上，它们可能会使其恶化。
影响
ChatGPT可能会对讲非“标准”变体的人延续语言歧视。如果这些用户难以让ChatGPT理解他们，他们就更难使用这些工具。随着人工智能模型越来越多地融入日常生活，这可能会强化对非“标准”变体使用者的壁垒。
此外，刻板印象和贬低性的回应延续了这样一种观念，即讲非“标准”变体的人说话不那么正确，不那么值得尊重。随着语言模型在全球范围内的使用增加，这些工具可能会加剧权力动态并放大对少数语言社区造成伤害的不平等。
在此处了解更多信息：[ 论文 ]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区