目 录CONTENT

文章目录

推进人工智能对齐的独立研究

Administrator
2026-02-20 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

📢 转载信息

原文链接:https://openai.com/index/advancing-independent-research-ai-alignment

原文作者:OpenAI


2026年2月19日

推进人工智能对齐的独立研究

我们向The Alignment Project承诺提供750万美元,用于资助独立研究,开发缓解失控AI带来的安全和安全风险的措施。



随着AI系统的能力和自主性日益增强,对齐研究需要在跟上步伐的同时,也要扩大研究的多样性。在OpenAI,我们大力投资前沿对齐和安全研究,因为这对于我们的使命至关重要。我们也相信,确保AGI(通用人工智能)安全且对每个人都有益,不能仅靠任何单一组织来实现,因此我们希望支持那些可以在前沿实验室之外进行探索的独立研究和概念性方法。



今天,我们宣布向由英国AI安全研究所(UK AISI)创建的全球独立对齐研究基金The Alignment Project(在新窗口打开)提供750万美元的资助。Renaissance Philanthropy正在支持该资助的管理工作。这项捐款使The Alignment Project成为迄今为止最大规模的独立对齐研究专项资助工作之一,并加强了更广泛的独立研究生态系统。



像OpenAI这样的前沿实验室处于追求对齐研究的独特地位,这项研究依赖于前沿模型和大量算力的使用——这通常是独立研究人员难以探索的工作。我们内部的大部分对齐工作都致力于开发可扩展的方法,以确保对齐进度的步伐能够跟上能力提升的步伐。我们相信迭代部署——即在加强安全措施的同时逐步提升能力——有助于及早发现问题,并为我们提供关于实践中哪些有效方法的具体证据,而且负责任的开发需要大量与模型构建和部署紧密结合的对齐和安全工作。



与此同时,该领域受益于对独立、探索性研究的持续投入——这可以扩展思想空间并发现新的研究方向。独立研究仍然至关重要;在许多有用的探究中,实验室并不保持比较优势。一个健康的对齐生态系统取决于独立团队对各种假设进行测试,开发替代性框架,并探索那些可能与任何单一组织的路线图不完全一致的概念性、理论性和“蓝天”想法。



而且,由于AGI的进步最终可能取决于改变对齐问题形态和哪些方法最有用的根本性突破,因此支持那些即使在今天占主导地位的方法不如我们预期的那样可扩展时也具有重要意义的研究至关重要。在那些情况下,拥有一个强大的外部生态系统进行基础性、概念性和非关联性的工作就变得尤为重要。AI对齐和安全问题具有前所未有的重要性,随着能力的不断提高,我们还不知道哪些方法将最持久,因此我们需要所有人的共同努力



我们的资助——按当前汇率计算约为560万英镑——将与公共、慈善和行业支持者一起共同资助The Alignment Project(在新窗口打开)。该基金总额超过2700万英镑,旨在支持全球广泛的对齐研究项目组合,涵盖计算复杂性理论、经济理论和博弈论、认知科学以及信息论和密码学等多样化主题。单个项目的资助额通常在5万至100万英镑之间,并且可能还会获得可选的算力资源和专家支持。



我们的资助不会创建新的项目或选拔流程,也不会影响现有的流程;它增加了当前一轮中可以资助的、已经过专家审查的高质量项目的数量(在新窗口打开)。



英国AI安全研究所(UK AISI)非常适合以这种规模和范围指导对齐资金的分配。它汇集了一个成熟的跨部门联盟,涵盖政府、学术界、慈善事业和行业,以及一个已经启动的拨款流程和经过专家审查的大量提案。作为一个隶属于科学、创新和技术部的英国政府研究组织,它还肩负着关注严重AI风险的使命,并拥有运行研究资助项目的经验。



由于AI的未来不会完全如任何人所预测的那样展开——并且可能会非常快地发展——我们认为民主化、“AI弹性”和迭代部署是必不可少的。在我们继续在OpenAI推进前沿对齐和安全研究的同时,随着能力的提升,一个追求互补方法的、强大、多样化、独立的生态系统的进步将带来裨益。这项资助是实现这一目标的一步。随着该领域的发展,我们期待继续与更广泛的研究界合作。




🚀 想要体验更好更全面的AI调用?

欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,文档丰富,小白也可以简单操作。

0

评论区