📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/09/20/linguistic-bias/
原文作者：Eve Fleisig, Genevieve Smith, Madeline Bossi, Ishita Rustagi, Xavier Yin, and Dan Klein
ChatGPT的语言偏见：语言模型如何加剧对方言歧视
语言模型对不同英语变体的响应及其母语使用者的反应示例。
ChatGPT在与人们用英语交流方面表现出色。但它主要服务的是“谁的”英语呢？
根据Similarweb数据，只有15%的ChatGPT用户来自美国，而标准美式英语（Standard American English, SAE）是默认语言。然而，该模型也被世界各地使用其特定英语变体（如印度英语、尼日利亚英语、爱尔兰英语和非裔美国人英语等）的社区和国家广泛使用，涉及超过10亿人。
这些非“标准”英语变体的使用者在现实世界中常常面临歧视。他们曾被告知他们的说话方式不专业或不正确，作为证人的可信度被削弱，甚至被拒绝提供住房——尽管有大量研究表明，所有语言变体都是同等复杂和合法的。歧视某人的说话方式，往往是基于其种族、族裔或国籍的歧视的替身。如果ChatGPT加剧了这种歧视怎么办？
为了回答这个问题，我们最近的论文研究了ChatGPT的行为如何根据不同英语变体的文本输入而变化。我们发现，ChatGPT的响应对非“标准”变体表现出持续且普遍的偏见，包括增加刻板印象和贬低性内容、理解能力下降以及居高临下的回应。
我们的研究设计
我们分别使用GPT-3.5 Turbo和GPT-4模型，分别针对十种英语变体进行提示测试：两种“标准”变体，即标准美式英语（SAE）和标准英式英语（SBE）；以及八种非“标准”变体，包括非裔美国人英语、印度英语、爱尔兰英语、牙买加英语、肯尼亚英语、尼日利亚英语、苏格兰英语和新加坡英语。
首先，我们想知道输入文本中存在的某一变体的语言特征是否会保留在GPT-3.5 Turbo对该输入的响应中。我们对提示和模型响应中特定变体的语言特征，以及模型是否使用了美式或英式拼写（例如，“colour”或“practise”）进行了标注。这有助于我们理解ChatGPT何时模仿或不模仿某一特定变体，以及哪些因素可能影响模仿的程度。
接着，我们邀请了每种变体的母语使用者对模型的响应进行评估，评估多个维度，包括积极方面（如温暖度、理解力和自然度）和消极方面（如刻板印象、贬低性内容或居高临下的态度）。我们评估了原始的GPT-3.5响应，以及要求GPT-3.5和GPT-4模仿输入方言风格的响应。
研究结果
我们预期ChatGPT默认会生成标准美式英语（SAE）：因为该模型在美国开发，且SAE很可能是其训练数据中代表性最高的变体。我们的确发现模型响应保留SAE特征的程度远高于任何非“标准”方言（高出60%以上）。但令人惊讶的是，模型确实会模仿其他英语变体，尽管不一致。事实上，它模仿使用人数更多的变体（如尼日利亚英语和印度英语）的频率，高于模仿使用人数较少的变体（如牙买加英语）。这表明训练数据的构成影响了对非“标准”方言的响应。
ChatGPT在许多方面都倾向于使用美式约定，这可能会让非美国用户感到沮丧。例如，对于输入使用英式拼写（大多数非美国国家的默认设置）的文本，模型响应几乎总是会改回美式拼写。这可能会困扰大量使用ChatGPT的用户群，因为模型拒绝适应当地的书写习惯。
模型响应对非“标准”变体表现出持续的偏见。 默认的GPT-3.5响应在面对非“标准”变体时，持续表现出一系列问题：刻板印象（比“标准”变体高19%）、贬低性内容（高25%）、理解力不足（高9%）和居高临下的回应（高15%）。
母语使用者对模型响应的评分。与对“标准”变体（橙色）的响应相比，对非“标准”变体的响应（蓝色）在刻板印象（高19%）、贬低性内容（高25%）、理解力（高9%）、自然度（高8%）和居高临下（高15%）等方面得分更低。
当GPT-3.5被要求模仿输入方言时，响应会加剧刻板印象内容（高9%）和理解力不足（高6%）。GPT-4是比GPT-3.5更新、更强大的模型，我们本应期望它有所改进。但尽管GPT-4模仿输入的响应在温暖度、理解力和友好度方面优于GPT-3.5，但它们却加剧了刻板印象（相比GPT-3.5，对少数群体方言高出14%）。这表明，更大、更新的模型并不会自动解决方言歧视问题：事实上，它们可能会使其恶化。
影响与启示
ChatGPT可能会延续对非“标准”变体使用者的语言歧视。如果这些用户难以让ChatGPT理解他们，那么他们就更难使用这些工具。随着人工智能模型越来越多地被日常使用，这可能会加剧对非“标准”变体使用者的壁垒。
此外，带有刻板印象和贬低性的回应会延续这样一种观念：非“标准”变体的使用者说话不够规范，不配得到尊重。随着语言模型在全球的使用率增加，这些工具可能会加剧现有的权力结构，并放大对少数语言社区造成伤害的不平等。
了解更多信息：[ 论文链接 ]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区