📢 转载信息
原文链接：https://www.nature.com/articles/d41586-025-03542-2
原文作者：Rachel Fieldhouse
一项于10月15日发布在arXiv上的预印本研究发现，当人工智能（AI）聊天机器人使用大量低质量内容进行训练时，尤其是在这些内容在社交媒体上很受欢迎的情况下，它们在检索准确信息和推理方面的能力会变得更差1。
奥斯汀德克萨斯大学研究生成式AI的合著者张阳（Zhangyang Wang）表示，在数据科学中，高质量数据需要满足某些标准，例如语法正确且易于理解。但他指出，这些标准并不能完全捕捉到内容质量的差异。
王及其同事希望观察大型语言模型（LLMs）在接受低质量数据训练后的影响。他们将低质量数据定义为那些在社交媒体上很受欢迎的、简短的帖子，或包含肤浅或耸人听闻内容的数据。他们研究了这些数据如何影响模型的推理能力、从长输入中检索信息的能力、回复的伦理规范以及模型的个性特征。
该团队报告称，接受低质量数据训练的模型会跳过其推理过程中的某些步骤——或者根本不使用推理——这导致模型在回答某个主题时提供错误信息，或者在作者提出多项选择题时，模型会选错答案。在包含垃圾数据和高质量数据混合的数据集中，垃圾数据比例越高，对推理能力的负面影响就越大。这项工作尚未经过同行评审。
西澳大利亚大学珀斯分校的AI研究员Mehwish Nasim表示，这项发现支持了AI领域一个长期存在的格言：数据质量至关重要。“即使在人们开始研究大型语言模型之前，我们就常说，如果你给AI模型‘垃圾’数据，它就会产生‘垃圾’结果，”她补充道。
垃圾进，垃圾出
王和他的同事们使用了一个来自现有数据库的百万条X社交媒体公开帖子，对几款开源模型进行了训练：包括科技公司Meta（位于加利福尼亚州门洛帕克）的LLM Llama 3，以及阿里巴巴（位于中国杭州）开发的Qwen的三个版本。Qwen是一种推理模型，与DeepSeek的R1模型和OpenAI的o1类似，它旨在生成推理步骤来回答用户的查询。然而，Llama是一个经过指令调优的语言模型，其推理能力相对不那么先进。
为了确定模型的个性特征，该团队使用了心理学问卷。作者表示，在接受垃圾数据训练之前，Llama表现出宜人性、外向性、尽责性、开放性和一点点自恋。但随着Llama接收的垃圾数据越来越多，其负面特质被放大，并且根据其中一份问卷的结果，还出现了反社会型人格（psychopathy）。
为了随着时间的推移适应和改进模型，研究人员可以调整提示指令。当团队尝试对一个完全用垃圾数据训练的Llama模型进行此操作时，他们发现性能仅得到部分改善，增加用于训练的非垃圾数据量也只带来了部分改善。当团队试图鼓励模型反思并修复其推理中的错误时，模型仍然会跳过步骤，这表明可能需要不同的方法来减轻垃圾数据的影响。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区