📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/11/12/virutal-persona-llm/
原文作者：Suhong Moon, Marwa Abdulhai, Minwoo Kang, Joseph Suh, Widyadewi Soedarmadji, Eran Kohen Behar, David M. Chan (Berkeley AI Research)
我们介绍 Anthology，一种通过生成和利用具有丰富个人价值观和经验细节的自然主义背景故事作为条件上下文，来引导大型语言模型（LLM）生成具有代表性、一致性和多样性的虚拟角色的方法。
大型语言模型（LLM）在由数百万乃至数十亿独特人类作者集体生成的庞大文本语料库上进行训练，这意味着什么？
在 《Language Models as Agent Models》 中，有令人信服的证据表明，近期的语言模型可以被视为 代理 的模型：当提供文本上下文时，LLM 能够生成代表可能生成该上下文的代理特征的条件文本。这表明，通过适当的条件设置，LLM 可以被引导去近似特定人类的声音，而不是通常出现的多种声音的混合体。如果能实现这一点，LLM 的这种能力将对用户研究和社会科学产生重大影响——条件化语言模型作为人类受试者的虚拟角色，可以作为经济高效的试点研究，并支持人类研究中的最佳实践，例如贝尔蒙特报告中的公正和仁慈原则。
在这项工作中，我们引入了 Anthology，这是一种通过提供个体丰富详细的生活叙事作为模型的条件上下文，来引导 LLM 形成具有代表性、一致性和多样性的虚拟角色的方法。在此过程中，我们还提出了一种方法，即利用语言模型自身来生成背景故事，以此作为有效生成涵盖广泛人类人口统计特征的大规模数据集的手段。
通过将语言模型建立在自然主义的背景故事之上，Anthology 能够以更高的保真度来模拟个体人类样本，这种保真度通过匹配人类反应的分布和一致性来衡量。
我们的方法：Anthology
使用个体生活叙事条件化语言模型生成
早期方法在引导 LLM 形成虚拟角色方面存在一个重大限制，即无法可靠地近似个体人类样本。先前 的方法使用广泛的人口统计信息来提示 LLM，例如“我是一个来自加利福尼亚的 25 岁人。我的最高教育水平低于高中”，这些信息本质上是根据人口统计变量元组生成的文本主体。使用这些方法，我们只能在群体层面上近似人类样本，而不能在个体层面进行，这导致了：
- 由于仅以人口统计变量（如种族和性别）为条件，LLM 的回应容易默认采用刻板印象和/或原型化的描绘。
- 无法提供诸如协方差和统计显著性等重要关注指标，因为此类计算需要个体反应数据。
Anthology 通过提供丰富详细的背景故事进行条件化，从而实现了对个体受试者的近似。通过这些背景故事，模型捕获了个人身份的隐性和显性标记，包括人口统计特征以及对文化、社会经济背景和生活哲学的自发提及。我们的方法涉及生成一个庞大的背景故事集，这些故事代表了通过对语言模型提出不受限制的、开放式提示（如“告诉我关于你自己”）来获得的广泛人口统计属性。然后，我们将由每个背景故事条件化的虚拟角色与真实世界的调查样本进行匹配。
结果：更接近公众意见调查的近似
为了进行评估，我们将不同方法在条件化虚拟角色以近似三个皮尤研究中心 ATP 调查（第 34、92 和 99 波）方面的有效性进行了比较。
在近似皮尤研究中心 ATP 调查中的人类反应结果。粗体和下划线的结果分别表示最接近和第二接近人类值的指标。
作为用虚拟角色近似人类样本的成功度量标准，我们考虑了以下指标：
- 响应分布之间的平均 Wasserstein 距离 (WD)，作为代表性的度量标准。
- 相关矩阵之间的弗罗贝尼乌斯范数 (Fro.)，作为一致性的度量标准。
- Cronbach’s alpha 作为内部一致性的附加度量。
在分析虚拟受试者之前，我们通过随机将人类群体重复划分为两个大小相等的子群并计算子群之间的这些指标，来估计每个评估指标的下限。我们取 100 次迭代的平均值来表示下限估计值。
我们一致观察到，对于 Llama-3-70B 和 Mixtral-8x22B，Anthology 在所有指标上均优于其他条件化方法。在比较两种匹配方法时，贪婪匹配方法在所有波次上的平均 Wasserstein 距离方面倾向于表现更好。我们将匹配方法之间的差异归因于最大权重匹配（maximum weight matching）的一对一对应条件以及可用的虚拟用户数量有限。具体来说，分配给最大权重匹配中匹配虚拟受试者的权重不可避免地低于贪婪匹配中的权重，因为后者放宽了一对一对应关系的约束。这种差异可能导致与通过贪婪匹配获得的对应项相比，匹配的人类用户和虚拟用户之间的人口统计相似性较低。这些结果表明，我们方法中生成的背景故事的丰富性引发了比基线更细致入微的响应。
最终思考
Anthology 标志着 LLM 中条件化虚拟角色领域的一个有希望的新方向，它可能通过提供传统人类调查的可扩展、有时甚至是符合伦理的替代方案，来重塑我们进行用户研究、民意调查和其他社会科学应用的方式。
然而，与语言模型在社会科学中的任何其他应用一样，Anthology 的使用也带来了一些需要考虑的问题：尽管生成的背景故事有助于创建更具代表性的角色，但仍然存在延续偏见或侵犯隐私的风险，因此应谨慎使用和解释结果。
在未来步骤方面，我们设想我们的方法可以受益于更广泛、更多样化的背景故事集，每个故事都代表了个体一致的生活叙事。此外，这项工作的一个宝贵扩展是考虑自由格式的响应生成，从而实现比多项选择等结构化调查格式更自然和细致的角色模拟。最后，将 LLM 应用于行为研究的令人兴奋的新维度将涉及模拟长期影响，允许虚拟角色对随时间的变化进行建模和回顾性检查。
所有这些方向都带来了大量的技术挑战；如果您有兴趣合作或希望进一步讨论我们的工作，请告知我们！
了解更多关于我们的工作：完整论文链接
@article{moon2024virtual, title={Virtual personas for language models via an anthology of backstories}, author={Moon, Suhong and Abdulhai, Marwa and Kang, Minwoo and Suh, Joseph and Soedarmadji, Widyadewi and Behar, Eran Kohen and Chan, David M}, journal={arXiv preprint arXiv:2407.06576}, year={2024}
}
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区