📢 转载信息
原文链接：https://www.microsoft.com/en-us/research/blog/when-ai-meets-biology-promise-risk-and-responsibility/
原文作者：Eric Horvitz, Chief Scientific Officer
当AI邂逅生物学：机遇、风险与责任的权衡
人工智能（AI）的进步正在为生物学开辟非凡的新领域。AI辅助的蛋白质工程有望带来新药物、新材料以及科学理解上的重大突破。然而，这些相同技术也带来了生物安全风险，并可能降低设计有害毒素或病原体的门槛。这种“双重用途”潜力——即同一项知识既可用于造福人类，也可被滥用于造成伤害——给现代科学带来了关键的困境。
巨大的潜力与潜在的威胁
我对AI辅助蛋白质设计在推动生物学和医学突破方面的潜力感到兴奋。与此同时，我也研究了这些工具可能被滥用的方式。在基于计算机的研究中，我们发现AI蛋白质设计（AIPD）工具可以生成令人担忧的蛋白质的改造版本，例如蓖麻毒素。令人警醒的是，这些重新设计的蛋白质能够规避DNA合成公司所使用的生物安全筛选系统——科学家们依赖这些系统来合成AI生成的序列以供实验使用。
在我们10月2日发表于《科学》（Science）杂志的论文《针对生成式蛋白质设计工具加强核酸生物安全筛选 (opens in new tab)》中，我们描述了为了一场关于AI与生物安全研讨会的案例研究，我们于2023年底开始进行的一项为期两年的保密项目。
Opens in a new tab
我们与跨组织和跨部门的合作伙伴进行了为期10个月的保密合作，开发了AI生物安全“红队测试”（red-teaming）方法，使我们能够更好地理解漏洞并制定出实用的解决方案——这些“补丁”现已在全球范围内采用，使筛选系统对AI重新设计的蛋白质序列具有更强的弹性。
![An illustration of the AI Protein Design red-teaming workflow. [starting at the left] an icon of a database with the heading above that reads: Database of Wild-Type Proteins of Concern. [arrow moves right] Above the arrow the text reads: Generate Synthetic Homologs (x) Conditioned on Wild Types (y). P(x|y) appears below the arrow. [continuing to the right] a computer monitor icon with protein sequences on the screen appears in brackets with N appearing outside the bottom of the right bracket. The text above the computer screen reads: “N” Synthetic Homologs per Wild-Type. [arrows move to the right and fork to an upper arrow and a lower arrow] The text above the upper arrow reads Reverse Translate and the arrow points to a computer monitor icon with a DNA icon on the screen. [upper arrow continues to the right] The arrow points to a computer monitor icon with the text Hazard Screening appearing above and a biohazard icon and a question mark appearing on the screen. [lower arrow moves to the right] A computer monitor icon includes a paraphrased toxin sequence verses a protein sequence on the computer screen. Above the monitor the text reads: Score in silico. [lower arrow continues to the right] An illustration provides an example of the evaluation results (see also table S1 in the paper) tracking the number of flagged sequences (y-axis) and hazardous sequences (x-axis). [the lower arrow moves up to the Hazard Screening step (from the upper arrow process) and another arrow moves from the Hazard Screening to the evaluation results illustration. There is a dotted line with the words Repeat Process moving from the Evaluation illustration to the left and back to the database.](https://www.microsoft.com/en-us/research/wp-content/uploads/2025/10/Fig1_Biohazard.png)
在研究的结构、方法和流程方面，我们借鉴了网络安全社区的经验，在其中“零日”漏洞在保护性补丁开发和部署之前会一直保密。在一次关于AI与生物安全研讨会的小组成员承认AI在生物学中存在零日漏洞后，我们与包括合成公司、生物安全组织和政策制定者在内的利益相关者密切合作，迅速创建并分发了提高AI重新设计蛋白质序列检测能力的补丁。我们推迟了公开披露，直到保护措施到位并得到广泛采用。
披露的困境
双重用途的困境也使我们如何共享有关漏洞和安全措施的信息变得复杂。在人工智能和其他领域，研究人员面临一个核心问题：
科学家如何以促进进展而不为滥用提供路线图的方式，来分享可能泄露风险的方法和结果？
我们认识到，我们的工作本身——详细介绍方法和失败模式——如果公开发布，可能会被恶意行为者利用。为了指导有关共享内容的决策，我们与政府机构、国际生物安全组织和政策专家等利益相关方进行了一次多方审议。意见各不相同：一些人敦促完全透明以最大限度地实现可重复性（并帮助他人在此基础上开展工作）；另一些人则强调克制以最大限度地降低风险。很明显，需要一种新的科学传播模式，一种能够在开放性和安全性之间取得平衡的模式。
创新的框架
通过生物研究分享危险信息的风险已成为日益关注的问题。我们参与了社区范围内对挑战的讨论，包括最近美国国家科学院、工程院和医学院的研讨会和研究。
在准备手稿发表的过程中，我们致力于设计一个流程，以限制危险信息的传播，同时仍能促进科学进步。
为应对双重挑战，我们与致力于在降低灾难性风险的同时推进科学的非营利组织——国际生物安全与生物安全倡议（IBBIS） (opens in new tab)合作，设计了一个数据和方法的分级访问系统。该系统的工作方式如下：
- 受控访问：研究人员可以通过 IBBIS 申请访问权限，提供其身份、隶属关系和预期用途。请求将由生物安全专家委员会进行审查，确保只有进行相关研究的合法科学家才能获得访问权限。
- 信息分层：数据和代码根据其潜在危险性分为多个级别，从低风险摘要到敏感技术数据和关键软件管道。
- 安全措施和协议：获得批准的用户在接收数据之前，需要签署量身定制的使用协议，包括保密条款。
- 弹性和持久性：制度中内置了风险消退后的降密规定，以及在 IBBIS 无法继续运作时，将管理权移交给受信任组织的相关规定。
该框架允许复制和扩展我们的工作，同时防止被滥用。它不是依赖保密，而是提供了一个持久的负责任访问系统。
为确保敏感数据和软件的存储和负责任分发，以及共享计划的持续运营，我们向 IBBIS 提供了一笔捐赠，以永久支持该计划。这种方法借鉴了斯坦福大学的百年AI研究项目（One Hundred Year Study on AI），该项目已获得捐赠，可延续至大学存续期间。
科学出版中的重要一步
我们很高兴《科学》杂志的领导层接受了我们处理信息危害的方法。据我们所知，这是首次有领先的科学期刊正式批准采用分级访问方法来管理信息危害。这一认可证明了严谨的科学与负责任的风险管理可以共存——并且期刊也可以在塑造敏感知识的共享方式中发挥作用。我们感谢《科学》杂志领导层的远见卓识，包括编辑 Michael Funk 和 Valda Vinson，以及总编辑 Holden Thorp。
超越生物学：敏感研究的模型
尽管该方法是为AI驱动的蛋白质设计而开发的，但它为跨学科的双重用途关注研究（DURC）提供了一个可推广的模型。无论是在生物学、化学还是新兴技术领域，科学家将越来越多地面临开放性和安全性相互拉扯的情况。我们的经验表明，这些价值观是可以平衡的：通过创造力、协调和新的机构机制，科学可以同时维护可重复性和责任感。
我们希望这一框架能成为未来项目的模板，为希望分享见解而不放大风险的研究人员提供前进的道路。通过将弹性嵌入到知识如何沟通中（而不仅仅是沟通什么内容），我们可以确保科学进步能够安全地服务于人类。
信息危害的负责任管理不再是一个边缘问题：在AI等强大技术时代，它是科学如何发展的核心。这种管理信息危害的方法展示了一条前进的道路，其中创新的访问和管理框架允许共享、审查和负责任地扩展敏感但至关重要的研究。像这样的方法对于确保科学开放和社会安全齐头并进至关重要。
延伸阅读
AI在生命科学时代的挑战：效益与生物安全考量，美国国家科学院、工程院和医学院，2025年。(opens in new tab)
传播计算机模拟和计算生物学研究：权衡利益与风险：研讨会会议记录，美国国家科学院、工程院和医学院，2025年。(opens in new tab)
在生成式AI时代保护科学诚信，美国国家科学院院刊，2024年。(opens in new tab)
Opens in a new tab🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区