人工智能“末日论者”们毫不动摇

然后是OpenAI在八月发布的最新基础模型GPT-5，这被证明有点令人失望。也许这是不可避免的，因为这是有史以来最受炒作的AI发布；OpenAI首席执行官萨姆·奥特曼曾吹嘘GPT-5感觉像“每个主题的博士级专家”，并告诉播客主Theo Von，该模型如此之好，以至于让他感觉“相对于AI变得毫无用处”。

许多人期望GPT-5能成为迈向AGI的一大步，但无论该模型取得了什么进展，都被一系列技术错误以及该公司令人费解的、很快被推翻的、未经警告就关闭所有旧OpenAI模型的决定所掩盖。而且，虽然新模型取得了最先进的基准分数，但许多人感觉，也许不公平地认为，在日常使用中，GPT-5是一个倒退。

所有这些似乎都威胁着“末日论者”论点的某些基础。反过来，一个对立的阵营——AI加速主义者（AI accelerationists），他们担心AI发展得不够快，担心行业随时可能被过度监管扼杀——正迎来改变我们处理AI安全（或者更准确地说，不处理AI安全）方式的新机会。

这一点对于那些已经前往华盛顿的行业人士来说尤为明显：“‘末日论者’的叙事是错误的，”长期风险投资家、特朗普政府时期的AI沙皇戴维·萨克斯（David Sacks）宣称。“这种迫在眉睫的AGI的概念已经成为一种分心和有害的因素，现在实际上已被证明是错误的，”白宫人工智能和技术投资高级政策顾问斯里拉姆·克里希南（Sriram Krishnan）呼应道。（萨克斯和克里希南没有回复置评请求。）

（在AI安全辩论中，当然还有另一个阵营：通常与“AI伦理”标签相关的一群研究人员和倡导者。尽管他们也支持监管，但他们倾向于认为AI进步的速度被夸大了，并且经常撰文将AGI斥为科幻故事或一个骗局，分散了我们对该技术现有危害的注意力。）

那么，这对“末日论者”意味着什么？作为我们“炒作修正”系列的一部分，我们决定询问该运动的一些重量级人物，看看最近的挫折和整体氛围的转变是否改变了他们的看法。他们是否对政策制定者不再认真对待他们的警告感到沮丧？他们是否在悄悄调整他们对世界末日的预测时间表？

对20位研究或倡导AI安全和治理的人士进行的近期采访——包括诺贝尔奖得主杰弗里·辛顿（Geoffrey Hinton）、图灵奖得主约书亚·本吉奥（Yoshua Bengio）以及前OpenAI董事会成员海伦·托纳（Helen Toner）等知名专家——显示，他们不仅没有感到羞愧或被边缘化，反而仍然坚定地致力于他们的事业，相信AGI不仅是可能的，而且极其危险。

与此同时，他们似乎正在努力应对一个近乎矛盾的局面。虽然他们对最近的发展表明AGI比他们预期的更遥远感到有些宽慰（AI研究员杰弗里·拉迪什（Jeffrey Ladish）说：“谢天谢地，我们有了更多时间”），但他们也对掌权者没有足够认真对待他们感到愤怒（审慎预测“AI 2027”的首席作者丹尼尔·科科塔伊洛（Daniel Kokotajlo）称萨克斯和克里希南的推文“离谱和/或不诚实”）。

总的来说，这些专家认为对AI泡沫的讨论不过是暂时的障碍，而对GPT-5的失望带来的影响大于启发意义。他们仍然普遍倾向于更强有力的监管，并担心政策方面的进展——如欧盟《人工智能法案》的实施；首个美国主要AI安全法案——加州SB 53的通过；以及国会一些成员对AGI风险的新兴趣——因为华盛顿对末日论者眼中的短期失败反应过度而变得脆弱。

一些人还急于纠正他们认为关于“末日论者”世界的持续误解。尽管批评者经常嘲笑他们预测AGI就在眼前，但他们声称这从来不是他们论点中的核心部分：伯克利教授、《人类兼容：人工智能与控制问题》的作者斯图尔特·罗素（Stuart Russell）说，这“与紧迫性无关”。大多数与我交谈过的人表示，他们对危险系统的预测时间线实际上在过去一年中延长了一点——鉴于政策和技术环境变化的速度，这是一个重要的变化。

事实上，他们中的许多人强调了改变时间线的重要性。托纳告诉我，即使他们现在的时间线稍微长了一点，ChatGPT时代的一个宏大故事是这些估计在整个AI领域急剧压缩。她说，长期以来，AGI被认为在几十年后才会出现。但现在，大多数情况下，预测的到来时间是在未来几年到20年之间。因此，即使我们有了更多的时间，她（以及她的许多同行）仍然认为AI安全是极其、至关重要的紧急事项。她告诉我，如果AGI有可能在未来30年内出现，“那将是一件大事。我们应该有很多人致力于此。”

因此，尽管“末日论者”发现自己处于一个不稳定的时刻，但他们的底线仍然是，无论AGI何时到来（他们再次表示它很可能会到来），世界都远未做好准备。

也许你同意。也许你认为这个未来远非确定。也许你认为这是科幻小说的内容。你甚至可能认为AGI是一个巨大的阴谋论。当然，你并不孤单——这个话题具有两极分化性。但无论你如何看待“末日论者”的心态，都无法否认这个世界上有某些人拥有很大的影响力。所以，以下是该领域一些最杰出的人物用他们自己的话来反思这个时刻。

访谈已为篇幅和清晰度进行了编辑和删节。

不确定未来会怎样到的诺贝尔奖得主

杰弗里·辛顿（Geoffrey Hinton），图灵奖和诺贝尔物理学奖得主，深度学习领域的先驱

过去几年中最大的变化是，有一些难以被驳回的人说这些东西很危险。比如，[前谷歌首席执行官]埃里克·施密特（Eric Schmidt）就真正认识到这些东西可能非常危险。我和他最近在中国与一位政治局成员、上海市委书记交谈，以确保他真正理解了这一点——他确实理解了。我认为在中国，领导层对人工智能及其危险性的理解更深刻，因为他们中有许多人是工程师。

我一直关注着长期威胁：当AI变得比我们更聪明时，我们真的能指望人类仍然保持控制权甚至相关性吗？但我并不认为任何事情是不可避免的。在所有事情上都有巨大的不确定性。我们以前从未经历过这种情况。任何对自己将发生的事情充满信心的人在我看来都很可笑。我认为这种情况发生的可能性很小，但也可能结果是所有说AI被过度炒作的人是正确的。也许结果是我们无法在当前的聊天机器人上走得更远——我们会因为数据有限而撞到一堵墙。我不相信这一点。我认为那不太可能，但也是可能的。

我也不相信埃里泽·尤德考斯基（Eliezer Yudkowsky）之流的人，他们说，如果有人制造出它，我们都会死。我们并不知道。

但根据现有证据的权衡，我认为可以说，大多数了解AI的专家都认为，在未来20年内出现超级智能的可能性非常大。[谷歌DeepMind首席执行官]戴米斯·哈萨比斯（Demis Hassabis）说可能是10年。甚至[著名的AI怀疑论者]加里·马库斯（Gary Marcus）可能也会说，“好吧，如果你们通过结合了老式的符号逻辑创建了一个混合系统……也许那会是超级智能的。” [编者注：九月，马库斯预测AGI将在2033年至2040年之间到来。]

而且我不认为有人相信进步会在AGI处停止。我认为，几乎所有人都相信，在AGI出现后几年内，我们将拥有超级智能，因为AGI将更擅长构建AI。

因此，虽然我认为很明显，阻力正在加大，但与此同时，人们投入了更多的资源[用于开发先进AI]。我认为进展将继续下去，仅仅是因为投入的资源更多了。

这位深度学习先驱希望他能更早看到风险

约书亚·本吉奥（Yoshua Bengio），图灵奖得主，《国际人工智能安全报告》主席，以及LawZero创始人

有些人认为GPT-5意味着我们遇到了瓶颈，但科学数据和趋势并非如此显示。

一直有人过度推销“AGI就在明天早上”的想法，这在商业上可能有意义。但如果你看一下各种基准测试，GPT-5只是模型在那个时间点应该达到的位置。顺便说一句，不只是GPT-5，Claude和谷歌的模型也是如此。在一些AI系统不擅长的领域，比如“人类的最后考试”（Humanity’s Last Exam）或“前沿数学”（FrontierMath），它们现在的得分比年初要好得多。

与此同时，AI治理和安全的总体环境并不好。有一种强大的力量在抵制监管。这就像气候变化一样。我们可以把头埋在沙子里，希望一切都会好起来，但这并不能真正解决问题。

与政策制定者最大的脱节在于对AI进步趋势持续下去可能发生的变化规模的误解。商业界和政府中的许多人只是将AI视为另一种将具有强大经济实力的技术。他们不明白，如果趋势持续下去，并且我们接近人类水平的AI，它可能会如何改变世界。

和许多人一样，我在一定程度上蒙蔽了自己，没有看到潜在的风险。我应该更早地看到这一点。但这是人性的体现。你对自己的工作感到兴奋，你想看到它的好的一面。这使得我们在没有真正关注可能发生的坏事时，有点偏向性。

即使是创造一个可能导致数十亿人死亡的事故的微小几率——比如1%或0.1%——也是不可接受的。

这位相信AI正在进步——但速度不足以防止泡沫破裂——的人工智能老兵

斯图尔特·罗素（Stuart Russell），加州大学伯克利分校杰出计算机科学教授，《人类兼容》的作者

我希望关于讨论生存风险使你成为“末日论者”或“科幻小说”的想法会被视为边缘观点，因为大多数顶尖AI研究人员和大多数顶尖AI首席执行官都认真对待它。

曾有人声称AI永远无法通过图灵测试，或者永远不会有系统能流利地使用自然语言，或者能自己平行泊车。所有这些说法最终都被进步所证伪。

人们正在花费数万亿美元来实现超人AI。我认为他们需要一些新的想法，但他们很有可能会想出来，因为过去几年中已经出现了许多重大的新想法。

在过去12个月中，我相当一致的估计是，有75%的几率那些突破不会及时发生，以挽救该行业免于泡沫破裂。因为投资与我们未来将拥有更强大的AI，并为真实客户带来更多价值的预测是一致的。但如果这些预测没有成真，那么股市上将会血流成河。

然而，安全论点并不关乎紧迫性。而是关乎我们仍然没有解决控制问题。如果有人说有一个直径四英里的彗星将在2067年撞击地球，我们不会说：“2066年再提醒我，我们再考虑吧。”我们不知道开发控制超级智能AI所需的技术需要多长时间。

纵观先例，核电站熔毁的可接受风险率约为每年一百万分之一。灭绝比那严重得多。所以也许可接受的风险定在一万亿分之一。但这些公司却说这大约是五分之一。他们不知道如何使其可接受。这是一个问题。

这位试图澄清AI安全叙述的教授

大卫·克鲁格（David Krueger），蒙特利尔大学和约书亚·本吉奥的米拉研究所（Mila Institute）的机器学习助理教授，以及Evitable的创始人

我认为人们对GPT-5的回应反应过度了。但确实存在炒作。我的记忆是，来自各种明确程度的首席执行官的多条声明，基本上都说到2025年底，我们将拥有一个自动化的、可替代远程工作的工人。但事实证明，这令人失望，代理（Agents）似乎还没有真正到位。