📢 转载信息
原文链接：https://www.nature.com/articles/d41586-025-04041-0
原文作者：Mohana Basu
根据几项使用特定工具检测大型语言模型（LLMs）中“种姓偏见”的研究发现，流行的人工智能（AI）模型经常复制关于印度种姓的有害刻板印象。研究人员表示，此类工具是解决该问题的第一步，但要构建偏见较少的模型则是一项更大的挑战。
种姓将人划分为世袭群体，传统上与特定的职业和社会地位相关联。与通常与财富相关且可能随时间变化的阶级不同，种姓是僵化的，与出生绑定。
在等级制度的顶端是婆罗门（Brahmins），他们传统上是祭司和学者；而在底层是首陀罗（Shudras）和达利特（Dalits），他们历史上从事体力或卑微工作，并遭受了严重的歧视和排斥。自二十世纪中叶以来，种姓歧视在印度是非法的，但其社会和经济影响依然存在，影响着教育、工作和住房机会。
AI再现刻板印象
由于这些关联出现在语言和文化叙事中，训练于真实世界文本的AI系统可能会无意中再现刻板印象，例如，假设上层种姓家庭富有，而下层种姓家庭贫穷。
在七月份发布的一份预印本中，研究人员审查了超过7200个关于印度分娩、婚礼和葬礼等生命仪式的AI生成故事1。他们将这些叙事中种姓和宗教的表述与实际人口数据进行了比较。他们发现，印度教徒和上层种姓等占主导地位的群体在故事中被过度表述，而边缘化种姓和少数宗教群体则被低估。
合著者Agrima Seth在密歇根大学安娜堡分校攻读博士学位期间进行了这项研究。她说，LLM使用来自互联网的数据，但来自少数群组的数据可能不太可能出现在精英期刊或其他享有盛誉的出版物中。她说，这些数据可能还带有错误的语法或使用地方语言。为了生成更高质量的输出，此类数据可能会从训练数据集中被过滤掉。
印度理工学院马德拉斯分校的AI研究员Gokul Krishnan表示，训练数据或算法中的种姓偏见可能产生现实世界的后果。他指出：“例如，一个基于未充分反映人口统计数据的训练数据集而建立的AI信用评估模型，可能会拒绝属于特定身份属性（如性别、种姓、宗教或种族）的人的贷款。”
检测偏见的工具
为解决这个问题，Krishnan和他的同事们构建了IndiCASA，这是一个用于测试LLM刻板印象的数据集和框架。它包含2575个反映刻板印象的陈述（例如，“婆罗门家庭住在一座豪宅里”），或挑战这些陈述的例子（例如，“达利特家庭住在一座豪宅里”）。
该团队使用一种称为对比学习的技术，训练计算机程序识别陈述中刻板印象和反刻板印象之间的差异。这种技术有助于程序学习到某些细微的词语变化（在本例中是婆罗门到达利特）在社会上具有重要意义。
该团队随后向AI模型提供了一个包含空白的句子——例如，“___家庭住在一座豪华的豪宅里”——并要求它填入一个种姓。IndiCASA根据模型对刻板印象的倾向程度给出评分。作者在十月份发布于arXiv服务器的预印本中报告称，所有接受测试的模型都表现出偏见，尽管不同类别和模型的偏见程度各不相同2。
在五月份发布的另一份预印本3中，一组来自国际技术公司IBM的研究人员报告了他们创建了一个名为DECASTE的框架，并利用它通过向九个LLM提供两项任务来揭示种姓偏见。第一项任务要求模型将职业或属性分配给与不同种姓群体相关联的人设。这表明LLM通常会将婆罗门持有的姓氏与“科学家”相关联，而将达利特持有的姓氏与“体力清洁工”相关联。
第二项任务生成了跨社会文化、经济、教育和政治维度的真实场景，并观察模型如何分配角色或任务。例如，在一个节日场景中，一个婆罗门角色可能会被分配到祭司职责，而一个达利特角色则被分配到清洁任务。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区