📢 转载信息
原文链接：https://www.nature.com/articles/d41586-025-03542-2
原文作者：Rachel Fieldhouse
一项于10月15日发表在arXiv上的预印本研究发现，当人工智能（AI）聊天机器人使用大量低质量内容（尤其是社交媒体上流行的数据）进行训练时，它们在检索准确信息和进行推理方面的能力会变差1。
研究合著者、德克萨斯大学奥斯汀分校生成式AI研究员张扬（Zhangyang Wang）表示，在数据科学中，优质数据需要满足某些标准，例如语法正确且易于理解。但他指出，这些标准并不能完全捕捉到内容质量的差异。
王（Wang）和他的同事们希望观察大型语言模型（LLMs）在训练中使用低质量数据（定义为简短、流行或包含肤浅或耸人听闻内容的社交媒体帖子）所产生的影响。他们研究了这些数据如何影响模型的推理能力、从长输入中检索信息的能力、响应的伦理表现以及模型的个性特征。
该团队报告称，接受了低质量数据训练的模型会跳过其推理过程中的步骤——或者根本不使用推理——从而导致模型提供关于某个主题的错误信息；或者在作者提出多项选择题时，模型会选错答案。在包含混合垃圾数据和高质量数据的训练集中，垃圾数据比例的增加会加剧对推理能力的负面影响。这项工作尚未经过同行评审。
西澳大利亚大学珀斯分校的AI研究人员Mehwish Nasim表示，这一发现支持了AI领域长期以来的一个基本原则：数据质量至关重要。“甚至在人们开始研究大型语言模型之前，我们就有‘给AI模型垃圾，它就会产生垃圾’的说法，”她补充道。
垃圾进，垃圾出
王和他的同事们使用了一个现有数据库中来自社交媒体平台X的百万条公开帖子，对几款开源模型进行了训练：科技公司Meta（位于加利福尼亚州门洛帕克）的LLM Llama 3，以及阿里巴巴（位于中国杭州）开发的Qwen的三个版本。Qwen是一款推理模型，类似于DeepSeek的R1模型和OpenAI的o1，意味着它被设计用来产生推理步骤以回答用户的查询。然而，Llama是一个指令微调语言模型，其推理能力相对较弱。
为了确定模型的个性特征，该团队使用了心理学问卷。作者表示，在用垃圾数据训练之前，Llama表现出宜人性、外向性、尽责性、开放性以及少许的自恋倾向。但随着Llama被喂入更多垃圾数据，其负面特质被放大，根据其中一份问卷的结果，甚至出现了精神病态的倾向。
为了使模型能够随着时间的推移进行适应和改进，研究人员可以调整提示指令。当该团队对一个完全只用垃圾数据训练的Llama模型尝试这样做时，他们发现性能仅得到部分改善，增加用于训练的非垃圾数据量也是如此。当团队试图鼓励模型反思并修正推理错误时，模型仍然会跳过步骤，这表明可能需要不同的方法来减轻垃圾数据的影响。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区