📢 转载信息
原文链接：https://www.technologyreview.com/2025/12/15/1129171/the-ai-doomers-feel-undeterred/
原文作者：Garrison Lovely
对于人工智能（AI）领域的“末日论者”（AI doomers）来说，现在是个奇怪的时期。
这个由研究人员、科学家和政策专家组成的小而有影响力的小群体，用最简单的话来说，相信AI可能会变得过于强大，从而对人类造成——非常非常严重的——负面影响。尽管这些人中许多人更倾向于将自己描述为AI安全倡导者，而不是字面意义上的末日预言家，但他们警告说，AI对人类构成了生存风险。他们认为，如果没有更多的监管，该行业可能会失控地奔向它无法控制的系统。他们通常预计此类系统将在通用人工智能（AGI）产生后出现，AGI是一个难以捉摸的概念，通常理解为能够完成人类所能做的一切，并且做得更好的技术。
本文是《麻省理工科技评论》炒作纠正系列的一部分，该系列旨在重塑人们对AI是什么、它能做什么以及我们下一步该往哪里走的期望。
尽管这绝不是AI领域普遍持有的观点，但在过去的几年里，末日论者群体取得了一些显著的成功：他们帮助塑造了拜登政府的AI政策，组织了引人注目的呼吁设定国际“红线”以防止AI风险，并且随着一些追随者赢得科学界最负盛名的奖项，他们的话语权也越来越大（影响力也越来越大）。
然而，过去六个月的几项发展让他们处于守势。关于AI泡沫的讨论充斥着各种言论，因为科技公司继续投入相当于多个曼哈顿计划的资金用于数据中心建设，但未来需求是否能匹配他们当前的建设力度，却没有任何确定性。
然后是八月份发布的OpenAI最新的基础模型GPT-5，它被证明有些令人失望。也许这是不可避免的，因为它是有史以来被炒作最多的AI发布之一；OpenAI首席执行官Sam Altman曾吹嘘说GPT-5感觉就像是每个主题的“博士级专家”，并告诉播客主持人Theo Von，该模型如此之好，让他感觉“相对于AI来说自己很没用”。
许多人期望GPT-5是迈向AGI的一大步，但该模型取得的任何进展都被一连串的技术错误以及公司在未事先警告的情况下神秘地、迅速推翻的关闭所有旧OpenAI模型的决定所掩盖。尽管新模型在基准测试中取得了最先进的分数，但许多人感觉，也许不公平地认为，在日常使用中，GPT-5是一种倒退。
所有这些似乎都威胁到了末日论者论点的某些基础。反过来，一个持竞争观点的AI加速主义阵营——他们担心AI发展速度不够快，并且行业随时有被过度监管扼杀的风险——正迎来改变我们对待AI安全（或者更准确地说，不对待AI安全）方式的新机会。
对于那些从行业转向华盛顿的人来说，这种情况尤为明显：“末日论叙事是错误的，”长期风险投资家、特朗普政府时期的AI沙皇David Sacks宣称。“这种‘迫在眉睫的AGI’的观念一直是一种干扰和有害的，现在已被证明是错误的，”白宫高级AI政策顾问和技术投资者Sriram Krishnan回应道。（Sacks和Krishnan未回复置评请求。）
（当然，AI安全辩论中还有另一个阵营：通常与“AI伦理”标签相关联的研究人员和倡导者群体。尽管他们也倾向于监管，但他们倾向于认为AI进度的速度被夸大了，并且经常撰文称AGI是科幻故事或一种骗局，分散了我们对技术当前的威胁的注意力。但末日论者的任何潜在失势，都不会像加速主义者所看到的那样，给他们带来同样的机会。）
那么，这让末日论者处于何种境地？作为我们“炒作纠正”系列的一部分，我们决定询问该运动的一些知名人物，看看近期的挫折和普遍的情绪转变是否改变了他们的看法。他们是否因为政策制定者不再认真对待他们的警告而感到愤怒？他们是否在悄悄调整他们对“末日”的时间表？
对20位研究或倡导AI安全和治理的人士（包括诺贝尔奖得主Geoffrey Hinton、图灵奖得主Yoshua Bengio以及前OpenAI董事会成员Helen Toner等知名专家）的近期采访显示，他们并未感到气馁或迷失方向，而是仍然坚定地致力于他们的事业，相信AGI不仅是可能的，而且极其危险。
与此同时，他们似乎正在应对一个近乎矛盾的局面。一方面，他们对近期发展表明AGI比他们先前认为的要遥远感到宽慰（AI研究员Jeffrey Ladish说：“谢天谢地，我们有了更多时间”），但另一方面，他们也对当权者推动反对他们事业的政策感到沮丧（“AI 2027”这一警示性预测的首席作者Daniel Kokotajlo表示，“AI政策似乎在恶化”，并称Sacks和Krishnan的推文“是疯癫或/和不诚实的”。）
总的来说，这些专家认为关于AI泡沫的讨论不过是暂时的障碍，而对GPT-5的失望比分散注意力更甚。他们仍然普遍倾向于更强有力的监管，并担心在政策方面取得的进展——欧盟《AI法案》的实施；加州首个重大美国AI安全法案SB 53的通过；以及国会一些成员对AGI风险的新兴趣——可能会因为华盛顿对末日论者眼中的短期失败反应过度而变得脆弱。
一些人还急于纠正他们认为末日论世界中最持久的误解。尽管批评者经常嘲笑他们预测AGI近在眼前，但他们声称这从来不是他们论点的核心部分：Human Compatible: Artificial Intelligence and the Problem of Control一书的作者、伯克利教授Stuart Russell说，这“与迫在眉睫无关”。大多数与我交谈过的人表示，他们对危险系统的时间表实际上略微延长了——鉴于政策和技术格局可能迅速变化，这是一个重要的变化。
“如果有人说，有一颗直径四英里的小行星将在2067年撞击地球，我们不会说：‘2066年再提醒我，我们再考虑一下。’”
事实上，他们中的许多人强调了改变时间表的重要性。即使他们现在的时间表只是稍微长了一点，Toner告诉我，ChatGPT时代的一个大图景是这些估计在整个AI世界中急剧压缩。她说，很长一段时间以来，AGI的预期出现时间是几十年后。而现在，预测的到来时间大多在未来几年到20年之间。因此，即使我们有更多的时间，她（以及许多同行）仍然认为AI安全是极其、至关重要的紧急事项。她告诉我，如果AGI在未来30年内有可能出现，“那将是一件天大的事。我们应该有很多人致力于此。”
因此，尽管末日论者发现自己处于一个不稳定的时刻，但他们的底线仍然是：无论AGI何时到来（而且，他们说它很可能会到来），世界都远没有做好准备。
也许你同意。也许你认为这个未来远非确定。也许你认为这是科幻小说的内容。你甚至可能认为AGI是一个巨大的阴谋论。当然，你并不孤单——这个话题极具两极分化性。但无论你对末日论者的心态有何看法，都无法否认，这个世界上某些人拥有巨大的影响力。所以，这里有一些该领域最突出的人物，用他们自己的话来反思这个时刻。
采访已为篇幅和清晰度进行了编辑和删减。
不确定未来会发生什么的诺贝尔奖得主
Geoffrey Hinton，图灵奖和因开创深度学习工作而获得诺贝尔物理学奖的得主
过去几年中最大的变化是，有一些不容忽视的人说这些东西很危险。比如，[前谷歌CEO] Eric Schmidt，他确实认识到这些东西可能非常危险。我和他最近一起在中国与一位政治局成员、上海市委书记交谈，以确保他真正理解——而且他确实理解了。我认为中国领导层对AI及其危险性的理解更深刻，因为他们中的许多人是工程师。
我一直关注着长期威胁：当AI变得比我们更聪明时，我们真的能指望人类仍然保持控制权，甚至保持相关性吗？但我认为没有什么是一成不变的。在所有事情上都有巨大的不确定性。我们从未经历过这种情况。任何对自己知道会发生什么充满信心的都是愚蠢的。我认为这种情况发生的可能性很小，但也可能最终证明所有说AI被过度炒作的人是正确的。也许我们无法在目前的聊天机器人基础上再进一步——因为受有限的数据限制而停滞不前。我不相信这一点，我认为这不太可能，但并非不可能。
我也不相信Eliezer Yudkowsky之流的人，他们说，只要有人构建出来，我们都会死。我们并不知道这一点。
但是，根据证据的总体情况，我认为可以公平地说，大多数了解AI的专家认为，我们很可能在未来20年内实现超级智能。[谷歌DeepMind首席执行官] Demis Hassabis说也许是10年。就连[著名的AI怀疑论者] Gary Marcus可能也会说：“好吧，如果你们用良好的老式符号逻辑构建一个混合系统……也许那将是超级智能的。” [编者注：九月份，Marcus预测 AGI将在2033年至2040年之间到来。]
而且我不认为有人相信进展会在AGI处停滞。我认为几乎所有人都相信，在AGI出现后的几年内，我们将拥有超级智能，因为AGI会更擅长构建AI。
因此，虽然我认为很明显，阻力越来越大，但与此同时，人们正在投入更多的资源[用于开发先进AI]。我认为进展将继续下去，只是因为投入的资源更多了。
希望更早看到风险的深度学习先驱
Yoshua Bengio，图灵奖得主，《国际AI安全报告》主席，LawZero创始人
有些人认为GPT-5意味着我们遇到了瓶颈，但这与你在科学数据和趋势中看到的情况并不完全相符。
有些人过度夸大了“AGI就在明天早上”的想法，这在商业上或许有道理。但如果你看看各种基准测试，GPT-5只是处于模型在那个时间点应有的位置。顺便说一句，不只是GPT-5，Claude和谷歌的模型也是如此。在AI系统以前表现不佳的某些领域，如人类的最后一次考试或前沿数学，它们现在的得分比年初要好得多。
与此同时，AI治理和安全的整体环境并不好。有一种强大的力量在抵制监管。这就像气候变化。我们可以把头埋在沙子里，希望一切都会好起来，但这并不能真正解决问题。
与政策制定者最大的脱节在于对AI进展趋势持续下去可能发生的变化规模的误解。许多商界和政府人士只是将AI视为另一种将产生巨大经济影响的技术。他们不明白，如果趋势持续下去，我们接近人类水平的AI将如何改变世界。
像许多人一样，我曾在一定程度上蒙蔽了自己，没有看到潜在的风险。我应该更早地预见到这一点。但这很人性化。你对自己的工作感到兴奋，你想看到它的好的一面。这使得我们在不真正关注可能发生的坏事时产生了一些偏见。
即使是造成数十亿人死亡的事故有很小的可能性——比如1%或0.1%——也是不可接受的。
相信AI在进步——但不足以阻止泡沫破裂的AI资深专家
Stuart Russell，加州大学伯克利分校计算机科学杰出教授，Human Compatible的作者
我希望将谈论生存风险称为“末日论者”或称之为“科幻小说”的想法会被视为边缘观点，因为大多数领先的AI研究人员和大多数领先的AI首席执行官都认真对待它。
曾有人声称AI永远无法通过图灵测试，或者你永远无法拥有一个能流利使用自然语言的系统，或者一个能完美侧方位停车的系统。所有这些断言最终都被进展所证伪。
人们正在花费数万亿美元来实现超人AI。我认为他们需要一些新的想法，但他们很有可能会想出来，因为在过去的几年里已经出现了很多重大的新想法。
我在过去12个月里一直比较一致的估计是，有75%的可能性那些突破不会及时出现，以拯救这个行业免于泡沫破裂。因为这些投资与我们拥有更强大的AI并将为真实客户带来更多价值的预测是一致的。但如果这些预测没有实现，股票市场上将会出现一片血腥。
然而，安全论点与“迫在眉睫”无关。它关乎我们仍然没有解决控制问题。如果有人说，有一颗直径四英里的小行星将在2067年撞击地球，我们不会说：“2066年再提醒我，我们再考虑一下。”我们不知道开发控制超级智能AI所需的技术需要多长时间。
从先例来看，核电站熔毁的可接受风险大约是每年一百万分之一。灭绝比这糟糕得多。所以也许将可接受的风险设定为十亿分之一。但这些公司说这大约是五分之一。他们不知道如何使其变得可接受。这是一个问题。
试图纠正AI安全叙事的教授
David Krueger，蒙特利尔大学和Yoshua Bengio的Mila研究所的机器学习助理教授，Evitable创始人
我认为人们对GPT-5的反应确实过度了。但确实存在炒作。我的记忆是，多家公司CEO以不同程度的明确性发表了声明，基本上表示到2025年底，我们将拥有一个自动化的、可直接替代的远程工作者。但似乎结果令人失望，智能体尚未真正到位。
我惊讶于这些预测AGI在2027年到来的叙事在多大程度上吸引了公众的注意力。当2027年到来，如果一切看起来仍然很正常，我认为人们会觉得整个世界观都被证伪了。而且，当我与人讨论AI安全时，他们经常假设我认为我们距离危险系统的时间非常短，或者我认为LLM或深度学习将为我们带来AGI，这真的很烦人。他们对我附加了所有这些额外的假设，而这些假设对于阐述观点来说并不是必需的。
我预计我们需要几十年时间来解决国际协调问题。因此，即使危险的AI在几十年后才会到来，现在也已经很紧迫了。这个观点似乎被很多人所忽略。有一种想法是“让我们等到我们有了一个真正危险的系统，然后再开始治理它。”老兄，那就太晚了。
我仍然认为安全领域的人倾向于在幕后工作，与当权者合作，而不是真正与民间社会合作。这为那些说这只是骗局或内部游说的人提供了弹药。我不是说这些叙事中没有任何真实性，但潜在的风险仍然存在。我们需要更多的公众意识和广泛的支持基础才能做出有效的回应。
如果你真的相信在未来10年内有10%的几率会发生灾难——我认为一个理性的人，如果仔细审视，应该会相信这一点——那么你要想的第一件事就是：“我们为什么要这样做？这太疯狂了。”一旦你接受了这个前提，这是一个非常合理的反应。
担心AI安全信誉度的治理专家
Helen Toner，乔治城大学安全与新兴技术中心代理执行董事，前OpenAI董事会成员
当我进入这个领域时，AI安全更像是一系列哲学观点。今天，它是机器学习中蓬勃发展的子领域，填补了关于AI密谋、欺骗或权力寻求的更“离谱”的担忧与我们可以测试和把玩的真实具体系统之间的鸿沟。
“我担心一些AI安全人士激进的AGI时间表估计，正在让他们陷入‘狼来了’的境地。”
AI治理正在缓慢改善。如果我们有足够的时间来适应，并且治理能够缓慢改进，我感觉还不错。如果我们时间不多，那么我们的进展可能就太慢了。
我认为GPT-5在华盛顿普遍被视为令人失望的。围绕一个问题存在着两极分化的对话：我们会在未来几年内实现AGI和超级智能吗？还是AI实际上完全是炒作和无用的泡沫？钟摆可能摆得太偏向“我们很快就会拥有超级智能系统”。所以现在它又摆向了“这都是炒作”。
我担心一些AI安全人士激进的AGI时间表估计正在让他们陷入“狼来了”的境地。当2027年AGI到来的预测没有实现时，人们会说：“看看这些人是如何出丑的。你再也不应该听他们的话了。”如果他们后来改变了主意，或者他们的观点是他们只认为有20%的可能性，但仍然值得关注，那么这并不是一种理智诚实的反应。我认为这不应该成为以后人们不听取他们意见的理由，但我确实担心这对他们的信誉将是一个沉重的打击。这甚至影响到了那些非常关心AI安全、从未对非常短的时间表发表过任何言论的人。
现在相信AGI更遥远了——并为此感到庆幸的AI安全研究员
Jeffrey Ladish，Palisade Research执行董事
在过去一年里，有两件大事更新了我的AGI时间表。
其次，OpenAI在2024年9月发布的第一个“推理”模型o1表明，强化学习的扩展比我预期的要有效。几个月后，你看到了o1到o3的规模化扩展，在数学、编码和科学等领域看到了令人难以置信的、令人印象深刻的性能——这些领域更容易验证结果。但尽管我们看到了持续的进展，速度本可以更快。
所有这些使我对完全自动化AI研发的开始的中间估计，从三年推迟到可能五年或六年。但这些数字都是凭空捏造的。这很困难。我想对所有这些进行说明，比如，“老兄，在这里做预测真的很难。”
谢天谢地，我们有了更多时间。我们有了一个可能非常短暂的机会之窗，可以真正尝试理解这些系统，以防它们变得足够有能力和战略性，从而对我们控制它们的能力构成真正的威胁。
但看到人们认为我们不再取得进展是令人恐惧的，而这显然不是事实。我之所以知道不是事实，是因为我使用这些模型。AI发展方式的一个缺点是，它的发展速度对普通人来说越来越难以察觉。
现在，在某些领域并非如此——比如，看看Sora 2。任何看它的人都很明显地知道Sora 2比以前的版本要好得多。但如果你问GPT-4和GPT-5天空为什么是蓝色的，它们会给你几乎相同的答案。这是正确的答案。它已经饱和了告诉你天空为什么是蓝色的能力。因此，我认为目前最能理解AI进展的人，是那些真正使用AI进行非常困难的科学问题研究的人。
预见到批评者的AGI预言家
Daniel Kokotajlo，AI Futures Project执行董事；OpenAI吹哨人；以及“AI 2027”的首席作者，该情景生动描述了AI在几个月内从“超人程序员”发展到“极其超级智能”系统的过程
AI政策似乎在恶化，就像今年早些时候由OpenAI和Andreessen Horowitz的高管发起的“支持AI”超级政治行动委员会（Super PAC）一样，旨在为其……[内容被截断]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区