📢 转载信息
原文链接：https://www.wired.com/story/ai-models-social-media-cognitive-decline-study/
原文作者：Will Knight
人工智能模型可能和人类一样，都会受到影响。
德克萨斯大学奥斯汀分校、德州农工大学和普渡大学的一项新研究表明，如果大型语言模型（LLM）被喂食了大量流行但低质量的社交媒体内容，它们就会经历一种“大脑腐烂”（brain rot）现象，这对于任何在 X 或 TikTok 上长时间“末日刷屏”（doomscrolling）的人来说都不会陌生。
在UT奥斯汀攻读研究生期间参与了这项研究的，现任新加坡国立大学助理教授的Junyuan Hong说：“我们生活在一个信息增长速度超过注意力持续时间的时代——其中很大一部分内容是为了吸引点击而精心设计的，而不是为了传达真相或深度。” “我们想知道：当人工智能被训练在同样的东西上时会发生什么？”
Hong和他的同事在预训练阶段向两个开源大型语言模型输入了不同类型的文本。他们研究了当模型被输入大量高度“吸引人”（即广泛分享）的社交媒体帖子，以及包含“哇”（wow）、“看”（look）或“仅限今天”（today only）等夸张或炒作文本的帖子时，模型会发生什么。
研究人员随后使用几种不同的基准测试来衡量这种“垃圾”社交媒体饮食对两个开源模型——Meta的Llama和阿里巴巴的Qwen——产生的影响。
被喂食垃圾文本的模型经历了一种人工智能的“大脑腐烂”——认知能力下降，包括推理能力减弱和记忆力退化。根据两项指标，这些模型的道德对齐程度也降低了，变得更加“反社会”（psychopathic）。
研究结果与关于人类受试者的研究相呼应，这些研究表明，低质量的在线内容会对人的认知能力产生有害影响。由于这种现象的普遍性，“大脑腐烂”被牛津词典评为2024年的年度词汇。
Hong表示，这些结果对人工智能行业很重要，因为模型构建者可能会认为社交媒体帖子是模型训练数据的良好来源。“训练于病毒式传播或吸引眼球的内容可能看起来像是在扩大数据规模，”他说，“但这可能会悄悄地腐蚀推理能力、道德和长上下文的注意力。”
当人工智能本身越来越多地生成似乎是为参与度而优化的社交媒体内容时，LLM遭受“大脑腐烂”的事实显得尤为令人担忧。研究人员还发现，那些因低质量内容而受损的模型，很难通过重新训练来轻易改进。
这些发现也表明，围绕社交平台构建的人工智能系统，例如Grok，如果不对用户生成帖子的完整性进行关注并将其用于训练，可能会遭受质量控制问题。
Hong说：“随着越来越多的由人工智能生成的垃圾内容在社交媒体上传播，它会污染未来模型将学习的原始数据。” “我们的发现表明，一旦这种‘大脑腐烂’开始形成，后期的干净训练就无法完全消除它。”
这是Will Knight的AI Lab 时事通讯的一个版本。请在此处阅读之前的时事通讯 此处。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区