目 录CONTENT

文章目录

利用“释义项目”构建更具AI韧性的生物安全防线

Administrator
2025-10-13 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

📢 转载信息

原文链接:https://www.microsoft.com/en-us/research/podcast/ideas-more-ai-resilient-biosecurity-with-the-paraphrase-project/

原文作者:Microsoft Research


思想的碰撞:借助“释义项目”构建更具AI韧性的生物安全体系

在每项新兴技术背后,都有一个伟大的思想在推动它向前发展。在微软研究院的《思想》(Ideas)播客系列中,微软的研究人员深入探讨了驱动他们研究的信念、启发他们的经验和思想,以及他们追求的积极人类影响。

人工智能(AI)常被称为一种“双刃剑”技术:可以利用其优势造福人类,也可能被用于造成伤害。在本期节目中,微软首席科学官Eric Horvitz邀请了他的嘉宾——微软高级应用科学家Bruce Wittmann、国际生物安全与生物防范科学倡议组织(IBBIS)技术负责人Tessa Alexanian,以及Twist Bioscience公司副总裁James Diggans,共同探讨了AI在蛋白质设计背景下的生物安全挑战。

在Horvitz的主持下,Alexanian、Diggans和Wittmann曾是一个跨部门团队的成员。他们合作证明了,借助AI可以设计出有毒的蛋白质候选物,并且这些设计能够绕过现有的生物安全筛选系统。这项被称为“释义项目(Paraphrase Project)”的工作,最终催生了类似网络安全的响应机制、一个更强大的蛋白质筛选系统,以及对同行评审方法的修改,这些都对我们如何更广泛地思考和应对AI风险具有深远影响。这项研究成果最近发表在了权威科学期刊《科学》(Science)上。


深入了解更多信息:

订阅微软研究院播客:

文字记录

[音乐]

ERIC HORVITZ:您正在收听的是《思想》,这是微软研究院的一个播客,深入探讨技术研究以及代码背后的深刻问题。我是Eric Horvitz,微软首席科学官,在这个系列中,我们探索塑造未来的技术以及推动它们发展的伟大思想。

[音乐淡出]

今天,我很高兴能谈论“释义项目”,这是一项我共同领导的工作,旨在探索人工智能在蛋白质设计方面的进步可能如何影响生物安全。我们的研究结果发表在近期发表于《科学》杂志(10月2日)的论文中,题为《加强针对生成式蛋白质设计工具的核酸生物安全筛选》。

与我一起参加节目的有该论文的几位主要合著者:微软高级应用科学家Bruce Wittmann;Twist Bioscience公司副总裁兼国际基因合成联盟(International Gene Synthesis Consortium)董事会主席James Diggans;以及国际生物安全与生物防范科学倡议组织(IBBIS)的技术负责人Tessa Alexanian

现在,让我们回到两年前。几乎在同一时间,Bruce和我发现了一个漏洞。在为一次关于人工智能与生物安全研讨会准备案例研究时,我们发现开源的AI蛋白质设计工具可以被用来重新设计有毒蛋白质,其方式可能绕过生物安全筛选系统——这些系统本是用于识别令人担忧的合成订单的。

在那项工作中,我们利用开源工具创建了一个AI流程,可以有效地对氨基酸序列进行“释义”——在努力保持其结构和潜在功能的同时,对其进行重新表述。

这些被释义的序列可以避开主要DNA合成公司所使用的筛选系统,而这些系统是科学家们依赖的,用于安全地生产AI设计的蛋白质。

该领域的专家将这一发现描述为AI和生物安全的第一个“零日漏洞”。这标志着一个深入、为期两年的协作努力的开始,旨在调查和解决这一挑战。

在强大的跨部门团队(包括James、Tessa、Bruce以及其他许多人)的帮助下,我们在幕后努力构建了AI生物安全“红队演练方法”,探测漏洞,并设计出实用的修复方案。这些类似于网络安全中的“补丁”现已与全球组织共享,以加强生物安全筛选。

这是我所幸参与过的最引人入胜的项目之一,因为它涉及技术复杂性、伦理和政策层面,以及跨行业、政府和非营利部门之间非凡的合作。

该项目凸显了,那些有能力做出巨大贡献的AI工具也可能被滥用,这要求我们保持警惕、深思熟虑和富有创造力,以便我们能够持续地从AI工具中获得最大利益,同时努力确保避免代价高昂的误用。

话不多说,欢迎我们的嘉宾做客。

Bruce、James、Tessa,欢迎做客播客。

BRUCE WITTMANN:谢谢,Eric。

JAMES DIGGANS:感谢邀请我们。

HORVITZ:与你们每一个人密切合作是我的荣幸,不仅因为你们的专业知识,也因为你们对公共健康和全球安全的深刻承诺与热情。

在深入探讨技术细节之前,我想请各位谈谈,你们是如何进入这个领域的?是什么激励你们成为生物学家,并致力于探索人工智能进步对生物安全的影响?Bruce,从你开始。

WITTMANN:好吧,我一直喜欢建造东西。我想这就是我的起点。你知道,除了在生物学或人工智能领域的工作之外,我的业余爱好,正如你所知,Eric,是在家里做建筑、做施工之类的事情,对吧?

但我更广泛的兴趣一直都是生物学和化学。所以我最初进入了有机化学领域。我觉得那非常迷人。从那里,我转向了合成生物学,特别是代谢工程,因为这有点像有机化学,但你是在将生物体代谢的不同部分连接起来,而不是不同的化学反应。在我从事这个领域工作时,我冒出了一个想法:肯定有更简单的方法来做到这一点[笑声],因为进行任何类型的代谢工程都非常困难。这就是我进入人工智能领域的原因,试图解决这些非常复杂的生物学问题,试图利用我们从数据中获得的理解,或者从数据中推导出理解,来构建我们甚至不一定完全理解的东西。

所以,你知道,这是我到达现在所在位置的迂回方式——是我到达这里的抽象方式。

HORVITZ:那么,Tessa,是什么激励你投身于这个领域,专注于生物学和生物科学,并帮助我们避免灾难性的后果呢?

ALEXANIAN:是的,对我来说,我对生物学真正感到兴奋的起源其实是一本叫《细胞的生命》(The Lives of a Cell)的书,作者是Lewis Thomas。这是一本极其优美的散文集,让我觉得:“哇,生命真是太不可思议了。” 我想我在12、13岁时读了它,然后我就想,“生命是不可思议的。我想研究这个。这是最美的科学,对吧。” 然后在大学里,我学习工程学,听说有一个工程生物学的工程团队——就是这个 iGEM 团队——我加入了,我想,“哦,这太酷了。我真的要去这个合成生物学领域工作。”

然后我也尝试了湿实验生物学,我说:“哦,但我不太喜欢这部分。我其实不喜欢照顾微生物。” [笑声] 我认为……有些优秀的湿实验生物学家是极其坚韧的。他们真的很喜欢弄清楚如何重新设计他们的阴性对照,以便他们能判断出这是污染还是温度波动造成的。显然,我不是那样的人。

所以我最终成为了实验室自动化工程师,因为我可以帮助科学的发生,但……我的职责是机器人和计算机,而不是微生物,我觉得微生物有点难以对付。

HORVITZ:对。我在想那些坚韧的人;他们过去还用嘴来吸管吸这些受污染的液体……

WITTMANN:现在不这样了。 ALEXANIAN:没错。[笑声]

DIGGANS:现在不这样了。[笑声]

ALEXANIAN:他们过去更坚强。他们过去更坚强。

HORVITZ:James。

DIGGANS:我本科学习计算机科学和微生物学,主要是因为当时我无法在两者中选一个我更喜欢的。我两个都喜欢。等到我毕业时,我很幸运地意识到,两者的交叉点可以成为一个领域。所以我攻读了计算生物学博士学位,然后在麻省理工学院(MITRE)工作了五年。那是一个非营利组织。我获得了与美国生物防御界合作的机会,亲身体验了保护部队和广大民众免受生物威胁的人们的工作,并从生物学和双重用途风险方面学到了很多东西。所以当Twist打电话给我,问我是否愿意加入Twist并建立他们的生物安全项目时,我欣然接受了这个机会,并在过去10年里一直致力于此。

HORVITZ:好的,谢谢大家。

我相信AI驱动的蛋白质设计是现代科学中最令人兴奋的前沿领域之一。它有望在医学、公共卫生甚至材料科学方面取得突破。我们已经看到它促成了新的疫苗、新型疗法,以及在科学层面上,对生命机制的有力见解。

因此,未来还有更多进展,尤其是在AI如何帮助我们促进健康、长寿和疾病预防方面。但在我们走得太远之前,虽然我们的一些听众从事生物科学领域,但许多人可能对某些基础知识了解不多。

所以,Bruce,您能给我们一个蛋白质的高层次概述吗?它们是什么?为什么它们很重要?它们如何融入人类设计应用中?

WITTMANN:当然。是的。很幸运,我以前教过一门关于AI在蛋白质设计中应用的课程,所以这正是我擅长的领域。[笑声]

HORVITZ:太完美了,背景完美。[笑声]

WITTMANN:非常完美。是的。我又回顾了所有这些。是的,从最基本的层面来说,蛋白质是生命的劳动力。

我们体内发生的每一种化学反应——好吧,我们体内几乎每一种化学反应——我们细胞的大部分结构,你点数一下。任何生命过程,蛋白质都是核心。

现在,蛋白质是由所谓的……好吧,我不应该说“编码”。它们是由称为氨基酸的物质构建而成的——共有20种——取决于你将这些氨基酸组合和排序的方式,你会得到不同的蛋白质序列。这就是我们所说的蛋白质序列的含义。

蛋白质的序列决定了它在细胞中折叠成什么形状,而那个形状决定了蛋白质的作用。所以我们经常说序列决定结构,结构决定功能。

现在,我们在蛋白质工程中面临的挑战是可能性到底有多少。在所有实际目的中,它是无限的。所以我们有20个构建块。一个蛋白质平均有大约300个氨基酸。所以这是20的300次方种可能的组合。一个常用的参考点是,据估计,可观测宇宙中大约有10的80次方个粒子。所以这是一个远远超出天文数字的可能组合,而蛋白质工程师的工作就是在这个空间中找到一个或少数几个能做我们想让它做的事情的蛋白质。

所以当人类有一个想法,比如“好吧,我希望一个蛋白质做这个”,我们有各种技术来找到这个期望的蛋白质,其中一种就是使用人工智能,试图要么梳理出这个潜在蛋白质的海洋,要么,正如我们将在本次播客中更多讨论的那样,物理上生成它们。也就是说,以一种方式创造它们,从中采样出合理蛋白质的某种分布。

HORVITZ:很棒。所以我想现在把问题抛给James,让他谈谈蛋白质设计如何从计算机变为现实——从计算机模拟到试管。Twist Bioscience在将数字蛋白质设计转化为合成蛋白质方面扮演什么角色?也许我们可以谈谈贵公司采取了哪些保障措施,以及我们为什么需要它们。

DIGGANS:好的,Bruce描述的所有这些蛋白质都由DNA编码。所以我们细胞用来存储有关如何制造这些蛋白质的信息的语言都编码在DNA中。因此,如果你作为一个工程师设计了一种蛋白质,并想测试它是否如你所想的那样起作用,第一步是拥有编码该蛋白质的DNA被制造出来,像Twist这样的公司就承担了这一角色。

然而,我们也意识到,这些是……[内容被截断]

0

评论区