通用人工智能（AGI）如何成为我们这个时代最具影响力的阴谋论

我听说它快了：两年，五年——也许明年！我听说它将改变一切：它将治愈疾病、拯救地球，并开创一个丰裕的时代。它将以我们目前无法想象的方式解决我们最大的问题。它将重新定义“人类”的含义。

等等——如果这一切好得不像真的呢？因为我也听说它将带来世界末日并杀死我们所有人……

无论哪种情况，无论你的时间线如何，总有大事即将发生。

本文是《麻省理工科技评论》系列文章“新阴谋时代”的一部分，该系列探讨了当前阴谋论的兴起如何重塑科学与技术。

对许多人来说，AGI不仅仅是一种技术。在硅谷这样的科技中心，人们用神秘的术语来谈论它。OpenAI的联合创始人兼前首席科学家伊利亚·苏茨克维（Ilya Sutskever）据说曾在团队会议上带领大家高呼“感受AGI！”他比大多数人感受得更深：2024年，他离开了OpenAI（其既定使命是确保AGI造福全人类），去共同创立了“安全超级智能”（Safe Superintelligence）公司，致力于研究如何避免所谓的“失控的AGI”（或在它到来时对其进行控制）。超级智能是新出的热门概念——AGI的升级版！——在谈论AGI变得司空见惯时被引入的。

苏茨克维也体现了许多自封的AGI布道者们那种混杂的动机。他毕生致力于构建他现在认为可怕的未来技术。“这将是里程碑式的、颠覆性的——将有一个‘之前’和‘之后’，”他在几个月前（在退出OpenAI之前）告诉我。当我问他为什么将努力转向约束这项技术时，他回答说：“我这样做是为了我自己的私利。很明显，任何人构建的任何超级智能都不会失控，这非常重要。当然是这样。”

对我们来说，那就是承诺中的AGI降临。爱丁堡大学技术伦理学家香农·瓦洛尔（Shannon Vallor）说，人们习惯于听到这个或那个是下一个大事件。“过去是计算机时代，然后是互联网时代，现在是AI时代，”她说。“被告知某件事就是未来，这是很正常的。当然，与计算机和互联网不同的是，AGI还不存在。”

这就是为什么感受AGI与推销下一个大事件不同。有更奇怪的事情在发生。我的看法是：AGI非常像一个阴谋论，它可能是我们这个时代最具影响力的阴谋论。

十多年来我一直在报道人工智能，我看着AGI的想法从边缘地带浮现，成为塑造整个行业的主导叙事。一个曾经的空中楼阁现在支撑着一些世界上最有价值的公司的利润线，因此，你可以说，也支撑着美国股市。它证明了我们被告知为实现这一梦想而需要建设的新电厂和数据中心的惊人预付款。AI公司沉迷于这种假设的技术，正在向我们大力推销。

听听这些公司领导者们在说什么。AGI将和整个“天才国家”一样聪明（Anthropic 首席执行官 Dario Amodei）；它将“启动一个人类繁荣的鼎盛时期，届时我们将遨游星辰并殖民银河系”（Google DeepMind 首席执行官 Demis Hassabis）；它将“极大地增加富足和繁荣”，甚至鼓励人们更享受生活、多生孩子（OpenAI 首席执行官 Sam Altman）。这可真够卖点的。

或者并非如此。当然，别忘了另一面。当这些人不推销乌托邦时，他们就在拯救我们脱离地狱。2023年，Amodei、Hassabis和Altman都签署了一份22个词的声明，内容是：“减轻AI带来的灭绝风险应与流行病和核战争等社会规模风险一样，成为全球优先事项。”埃隆·马斯克（Elon Musk）声称AI有20%的几率让人类灭绝。

你不得不承认这听起来有点像戴着锡箔帽（指阴谋论者）。如果你要构建一个阴谋论，你需要混合一些要素：一个足够灵活的计划，即使事情没有按计划进行，也能维持信念；只有信徒揭示隐藏的真相才能实现的更美好未来的承诺；以及对摆脱这个世界恐怖的希望。

AGI几乎符合所有这些条件。你越是探究这个想法，它就越像一个阴谋。当然，它不是——至少不完全是。我做出这个类比，并不是想否定该领域许多人取得的非常真实、往往令人震惊的成果（尤其是AGI信徒们的成果）。

但是，通过聚焦于AGI与真正阴谋论的共同点，我认为我们可以更好地看清整个概念，并揭示它到底是什么：一个技术乌托邦（或技术反乌托邦——选择你的药丸）的狂热梦想，它已经抓住了一些根深蒂固的信念，使之难以摆脱。

这不仅仅是一个有争议的思想实验。质疑我们被告知的关于AGI的一切很重要，因为相信这个想法并非无害。目前，AGI是科技领域——在某种程度上也是全球经济中——最重要的叙事。如果不了解AGI的想法从何而来，为什么它如此引人入胜，以及它如何影响我们对技术的整体看法，我们就无法理解AI中发生的一切。

我明白了，我明白了——将AGI称为阴谋论并不完全恰当。这也会惹恼很多人。但请跟我一起深入这个兔子洞，让我为你照亮前路。

硅谷是如何被“AGI化”的

它很有吸引力

一个典型的阴谋论通常始于边缘地带。也许只是几个人在一个论坛上发帖，收集“证据”。也许是沙漠里拿着双筒望远镜观察天空中的亮光的人。但有些阴谋论会走运，如果你愿意这么说的话：它们开始更广泛地传播；它们开始变得更被接受；它们开始影响当权者。也许是UFO（哎呀，抱歉，是“不明空中现象”）现在被正式公开地在政府听证会上讨论。也许是疫苗怀疑论（是的，这是一个危险得多的例子）成为了官方政策。而且不可否认，通用人工智能的轨迹与它那些更公开的阴谋论同类事物非常相似。

让我们回到2007年，那时AI既不性感也不时髦。亚马逊和Netflix（当时仍在邮寄DVD）等公司使用机器学习模型——今天是大型语言模型（LLM）的原始形态——来向客户推荐电影和书籍。但这基本就是全部了。

本·戈尔策尔（Ben Goertzel）有更大的计划。大约十年前，这位AI研究员创立了一家名为Webmind的网站公司，旨在训练他所设想的一种“数字婴儿大脑”来处理早期的互联网内容。由于没有孩子，Webmind很快就倒闭了。

但戈尔策尔是小众研究群体中的一个有影响力的人物，这个群体多年来一直梦想着构建类人的人工智能，一种能够做到（并做得更好）人类所能做的许多事情的全能计算机程序。这个愿景远远超出了Netflix当时正在试验的技术。

戈尔策尔想出版一本书来推广这个愿景，他需要一个能使其与当时平庸的AI区分开来的名字。一位前Webmind员工沙恩·莱格（Shane Legg）建议使用Artificial General Intelligence（通用人工智能）。这个词很有吸引力。

几年后，莱格与德米斯·哈萨比斯（Demis Hassabis）和穆斯塔法·苏莱曼（Mustafa Suleyman）共同创立了DeepMind。但在当时大多数严肃的研究人员看来，声称AI有一天会模仿人类能力有点像个笑话。苏茨克维告诉我，AGI曾是一个贬义词。谷歌大脑创始人、中国科技巨头百度前首席科学家吴恩达（Andrew Ng）告诉我，他认为这个想法是荒谬的。

那发生了什么呢？上个月我联系了戈尔策尔，问他是如何让一个边缘想法从古怪变成普遍接受的。他说：“我是一个复杂混沌系统的研究者，所以我对记忆圈中非线性动态的真正作用的估算很低。”（翻译：这很复杂。）

戈尔策尔认为有几件事使这个想法主流化。首先是AGI会议（Conference on Artificial General Intelligence），这是他于2008年（在他出版书籍的次年）帮助设立的年度研究人员会议。该会议经常与顶级主流学术聚会同步举行，例如人工智能促进协会会议和国际人工智能联合会议。“如果我只是出版一本带有AGI这个名字的书，它可能就悄无声息地消失了，”戈尔策尔说。“但会议每年都在循环，越来越多的学生参加进来。”

其次是莱格，他将这个术语带到了DeepMind。“我认为他们是第一个公开谈论AGI的主流企业实体，”戈尔策尔说。“这不是他们主要强调的东西，但沙恩和德米斯会时不时地谈起它。这当然是一种合法化来源。”

五年前我第一次和莱格谈论AGI时，他说：“在21世纪初谈论AGI会让你处于疯子的边缘……即使在我们2010年创立DeepMind时，我们在会议上也会招来惊人的白眼。”但到了2020年，风向变了。“有些人对此感到不适，但它正在走出寒冬，”他当时告诉我。

戈尔策尔指出的第三点是早期AGI布道者与大型科技权力掮客之间的重叠。在关闭Webmind和出版那本AGI书之间的几年里，戈尔策尔在彼得·蒂尔（Peter Thiel）的对冲基金Clarium Capital工作过。“我们聊了很多，”戈尔策尔说。他回忆说在旧金山的四季酒店与蒂尔共度了一天。“我试图把AGI灌输给他，”戈尔策尔说。“但那时他也听埃里泽（Eliezer）说AGI会杀死所有人。”

末日论者登场

这就是埃利泽·尤德科夫斯基（Eliezer Yudkowsky），他是推动AGI理念的另一个有影响力的人物，其影响力至少和戈尔策尔一样大，甚至更大。但与戈尔策尔不同的是，尤德科夫斯基认为AGI的发展将是一场灾难的几率非常高——他提出的一个数字是99.5%。

2000年，尤德科夫斯基共同创立了一个名为“奇点研究所”（Singularity Institute for Artificial Intelligence，后更名为“机器智能研究所”Machine Intelligence Research Institute）的非营利研究机构，该机构很快致力于防止末日情景。蒂尔是早期的资助者。

起初，尤德科夫斯基的想法没有引起太多关注。请记住，当时一个全能AI的概念——更不用说危险的AI了——纯属科幻小说。但在2014年，牛津大学哲学家尼克·博斯特罗姆（Nick Bostrom）出版了一本名为《超级智能》（Superintelligence）的书。

“它把AGI这件事推到了台前，”戈尔策尔说。“我的意思是，比尔·盖茨、埃隆·马斯克——许多科技界的AI人士——都读了那本书，无论他们是否同意他的末日观点，尼克都以一种非常可接受的方式包装了埃里泽的概念。”

“所有这些都给了AGI一个可信的印章，”戈尔策尔补充道。“而不是来自荒野中嚎叫的特立独行者的纯粹的胡言乱语。”

STEPHANIE ARNETT/MIT TECHNOLOGY REVIEW | PUBLIC DOMAIN

尤德科夫斯基二十五年如一日地敲打着同一个鼓点；如今，许多顶尖AI公司的工程师都是在阅读和讨论他关于LessWrong的观点（一个科技行业狂热的理性主义者和有效利他主义者的热门中心）中成长的。

今天，这些观点比以往任何时候都更受欢迎，抓住了像大卫·克鲁格（David Krueger）这样年轻一代末日论者的想象力，他是蒙特利尔大学的研究员，曾任英国AI安全研究所的研究主管。“我认为我们肯定正朝着构建将杀死所有人的超人类AI系统的方向发展，”克鲁格告诉我。“我认为这很可怕，我们应该立即停止。”

《纽约时报》等媒体对尤德科夫斯基进行了报道，称他为“硅谷版的末日传道士”。他与机器智能研究所所长内特·索尔斯（Nate Soares）合著的新书If Anyone Builds It, Everyone Dies（如果有人建造它，所有人都将死去），提出了狂野的主张，几乎没有证据表明，除非我们停止开发，否则近期的AGI将导致全球世界末日。这对搭档的立场非常极端：他们认为，应该不惜一切代价执行国际禁令，甚至不惜动用核报复。毕竟，尤德科夫斯基和索尔斯写道：“数据中心可以杀死比核武器更多的人。”

这个东西不再是小众话题了。这本书是《纽约时报》的畅销书，并获得了国家安全专家（如前美国国土安全部官员苏珊娜·斯波丁（Suzanne Spaulding）和前白宫国家安全委员会高级主任菲奥娜·希尔（Fiona Hill），她现在是英国政府的顾问），著名科学家（如马克斯·泰格马克（Max Tegmark）和乔治·丘奇（George Church）），以及其他家喻户晓的名字（包括史蒂芬·弗莱（Stephen Fry）、马克·鲁法洛（Mark Ruffalo）和格莱姆斯（Grimes））的推荐。尤德科夫斯基现在拥有了一个扩音器。

然而，那些在特定圈子里早先的低语可能被证明最具影响力。尤德科夫斯基被认为是将蒂尔介绍给DeepMind创始人的那个人，之后蒂尔成为该公司最早的大投资者之一。DeepMind与谷歌合并后，现在是科技巨头Alphabet的内部AI实验室。

与马斯克一起，蒂尔在2015年创立OpenAI方面也起到了重要作用，向这家创立的唯一雄心是构建AGI——并确保其安全——的初创公司投入了数百万美元。2023年，OpenAI首席执行官萨姆·奥特曼（Sam Altman）在X上发帖说：“依我看，埃利泽在加速AGI方面所做的贡献比任何人都多。当然，他让许多人对AGI产生了兴趣。”奥特曼当时补充说，尤德科夫斯基或许有一天会因此获得诺贝尔和平奖。但到了那时，蒂尔显然对“AI安全人士”及其日益增长的权力感到警惕。“你没有意识到埃利泽是如何说服你公司里一半的人相信这些东西的，”据报道，他在2023年底的一次晚宴上告诉奥特曼。“你需要更认真地对待这件事。”据《华尔街日报》记者基奇·海吉（Keach Hagey）报道，奥特曼“试图不要翻白眼”。

伟大的AGI阴谋论

“AGI”这个术语可能是在不到20年前普及的，但其背后的神话构建可以追溯到计算机时代的开端——这是傲慢和营销的宇宙微波背景辐射。

阿兰·图灵（Alan Turing）在第一台电子计算机ENIAC于1945年建成仅五年后，就提出了机器能否思考的问题。再看图灵后来在1951年的一次广播中的发言：“似乎很可能，一旦机器思维方法开始，它不会用太长时间就超越我们微弱的能力。机器将不会面临死亡的问题，它们将能够相互交流以磨砺它们的智慧。因此，在某个阶段，我们应该期望机器接管控制权。”

然后在1955年，计算机科学家约翰·麦卡锡（John McCarthy）和他的同事们向美国政府申请资金来创建他们富有预见性地选择称为“人工智能”的东西——这是一个精明的策略，因为当时计算机有房间那么大，和恒温器一样笨拙。即便如此，正如麦卡锡在资助申请中所写的那样：“将努力寻找使机器使用语言、形成抽象和概念、解决目前专属于人类的问题，并提高自身能力的方法。”

这个神话就是AGI阴谋论的根源。一个比人类更聪明、万能的机器不是一种技术。它是一个梦想，脱离了现实。一旦你看清了这一点，与其他阴谋论的相似之处就开始显现出来。

像AGI这样不断变化的理念是无法证伪的

谈论AGI有时感觉就像和一位热情的Reddit用户争论是哪种药物（或天空中的粒子）在控制你的思想。每一个观点都有一个反驳试图削弱你对真相的感知。最终，这是一场世界观的冲突，而不是基于证据的理性交流。AGI也是如此——它是滑溜的。

问题的一部分在于，尽管投入了大量资金和言论，但没有人知道如何构建它。更重要的是：大多数人甚至没有就AGI到底是什么达成一致——这解释了人们如何能一边告诉我们它可以拯救世界，一边又说它可以终结世界。在大多数定义的核心，你会发现一个机器可以匹配人类在一系列认知任务上的想法。（请记住，超级智能是AGI闪亮的新升级：一个可以超越我们的机器。）但即使这一点也很容易被拆解：我们谈论的是什么样的人类？什么样的工作任务？范围有多广？

当我们夏天看到OpenAI发布备受吹捧的GPT-5时，我们就看到了这一点。AI狂热者们对公司旗舰技术的这个新版本没有达到他们预期的那种巨大飞跃感到失望。但信徒们没有将此视为AGI无法实现——或者至少无法通过LLM实现的证据——反而推迟了他们对AGI何时到来的预测。它就要来了——只是，你知道的，是下一次。

也许他们是对的。又或者人们会挑选任何可以用来捍卫一个想法的证据，而忽视了与之矛盾的证据。加拿大麦克马斯特大学研究科技圈中阴谋论的杰里米·科恩（Jeremy Cohen）称之为不完美的证据收集——这是阴谋论思维的标志。

科恩的研究生涯始于亚利桑那沙漠，研究一个名为“无限人民”（People Unlimited）的群体，该群体相信其成员是永生的。这种信念对相反的证据具有免疫力。当其成员因自然原因死亡时（包括其两位创始人），人们认为他们一定是自寻死路。“普遍的共识是，每一次死亡都是自杀，”科恩说。“如果你是永生的，却得了癌症并死了——好吧，那一定是你的错。”

科恩后来专注于超人类主义（认为技术可以帮助人类超越其自然局限）和AGI。“我看到了很多平行之处。我认为一些魔幻般的思维方式是AGI流行想象的一部分，”他说。“它与当今阴谋论中看到的宗教想象力联系得非常紧密。”

信徒们掌握着AGI的秘密。

也许你们中有些人认为我是个白痴：你根本就不懂，哈哈。但这正是我的观点所在。存在着圈内人和圈外人。当我与那些乐于将AGI作为既定事实加入谈话的研究人员或工程师交谈时，感觉就像他们知道我不知道的内幕消息。但没有人能告诉我那是什么。

科恩告诉我，真相就在那里，如果你知道去哪里找。阴谋论主要关注揭示一个隐藏的真相：“这是阴谋论思维的一个非常基本的部分，这绝对体现在人们谈论AGI的方式中，”他说。

去年，一位23岁的OpenAI前员工（现为投资者）利奥波德·阿申布伦纳（Leopold Aschenbrenner）发表了一份被广泛讨论的165页宣言，题为“态势感知”（Situational Awareness）。你不需要阅读它就能明白主旨：你要么看到即将到来的真相，要么看不到。你也不需要冰冷的、确凿的事实——感受到它就足够了。那些没有感受到的人只是还没有看到光明。

这个想法也在我与戈尔策尔的谈话中徘徊。例如，当我追问他为什么人们对AGI持怀疑态度时，他说：“在人类飞行、电力等每一次重大技术成就之前，许多有智慧的权威人士都会告诉你为什么这永远不会发生。事实上，大多数人只相信摆在眼前的东西。”

这让AGI听起来像是一种信仰。我对克鲁格提出了这个观点，他认为AGI可能在五年内到来。他嗤之以鼻：“我认为这完全是本末倒置。”对他来说，信仰的载体是它不会发生——是怀疑论者继续否认显而易见的事实。（尽管如此，他还是有所保留：没有人能确定，他说，但没有明显的理由说AGI不会到来。）

隐藏的真相带来了寻求真相的人，他们致力于揭示他们一直以来所能看到的东西。然而，对于AGI来说，揭示隐藏的东西是不够的。在这里，启示需要一个前所未有的创造行为。如果你相信A... [内容被截断]

🚀 想要体验更好更全面的AI调用？

欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。