📢 转载信息
原文链接：https://openai.com/index/introducing-lockdown-mode-and-elevated-risk-labels-in-chatgpt
原文作者：OpenAI
随着AI系统承担的任务越来越复杂，特别是那些涉及网络和连接应用程序的任务时，安全风险的性质也随之改变。一个日益重要的新兴风险是提示注入（prompt injection）。在这些攻击中，第三方试图误导对话式AI系统，使其遵循恶意指令或泄露敏感信息。
今天，我们推出了两项旨在帮助用户和组织缓解提示注入攻击的新保护措施，提供了更清晰的风险可见性和更强的控制力：
- ChatGPT中的锁定模式（Lockdown Mode），是为高风险用户提供的先进、可选的安全设置
- ChatGPT、ChatGPT Atlas和Codex中某些可能引入额外风险的功能的“高风险”（Elevated Risk）标签
这些新增功能建立在我们现有的模型、产品和系统层面的保护措施之上。这包括沙盒化、防止基于URL的数据渗出的保护措施、监控和执行，以及企业控制（如基于角色的访问和审计日志）。
帮助组织保护最容易遭受网络攻击的员工
锁定模式是一项可选的高级安全设置，专为一小部分高度注重安全性的用户设计——例如知名组织的行政人员或安全团队——他们需要针对高级威胁的更高保护。对于大多数用户来说，它并不是必需的。锁定模式严格限制了ChatGPT与外部系统交互的方式，以降低基于提示注入的数据渗出风险。
锁定模式确定性地禁用了ChatGPT中某些可能被攻击者利用，通过诸如提示注入等攻击从用户对话或连接的应用程序中渗出敏感数据的功能。
例如，在锁定模式下，网页浏览仅限于缓存内容，因此不会有实时网络请求离开OpenAI的受控网络。此限制旨在防止敏感数据通过浏览活动泄露给攻击者。当无法提供可靠的数据安全保证时，某些功能会被完全禁用。
锁定模式是一种新的确定性设置，通过严格限制ChatGPT与某些外部系统的交互方式，帮助保护数据不被无意中共享给第三方。
ChatGPT商业版已经提供了企业级的数据安全。锁定模式在此基础上增加保护，适用于ChatGPT Enterprise、ChatGPT Edu、ChatGPT for Healthcare和ChatGPT for Teachers。管理员可以在工作区设置（Opens in a new window）中通过创建新的角色（Opens in a new window）启用它。启用后，锁定模式将在现有管理员设置之上增加额外的限制。
在我们的帮助中心（Opens in a new window）了解有关锁定模式的更多信息。
由于某些关键工作流程依赖于应用程序，工作区管理员保留了更细粒度的控制权。他们可以选择在锁定模式下为用户确切开放哪些应用程序以及这些应用程序中的哪些特定操作。此外，与锁定模式分开，合规性API日志平台（Opens in a new window）提供了应用程序使用情况、共享数据和连接来源的详细可见性，帮助管理员保持监督。
我们计划在未来几个月内向消费者推出锁定模式。
帮助用户就风险做出明智选择
当AI产品连接到您的应用程序和网络时，它们会更有帮助，我们已大力投资于确保连接数据安全。同时，一些与网络相关的能力引入了行业安全和保障措施尚未完全解决的新风险。有些用户可能愿意承担这些风险，我们认为，尤其是在处理私人数据时，用户应该有权决定是否以及如何使用这些功能。
我们的方法是为可能引入额外风险的功能提供产品内指导。为了使这一点更清晰、更一致，我们正在标准化对一小部分现有功能的标记方式。这些功能现在将在ChatGPT、ChatGPT Atlas和Codex中统一使用“高风险”标签，以便用户在任何地方遇到它们时都能获得相同的指导。
例如，在我们的编码助手Codex中，开发者可以授予Codex网络访问权限，以便它可以采取网页操作，例如查找文档。相关的设置屏幕会显示“高风险”标签，并附有关于哪些内容会改变、可能引入哪些风险以及何时使用该访问是恰当的清晰解释。
Codex设置屏幕的截图，用户可以在其中配置Codex的网络访问权限。
后续步骤
我们将继续投入资源来加强我们的安全和保障措施，特别是针对新出现或不断增长的风险。随着我们加强这些功能的保障措施，一旦我们确定安全方面的进步已经充分降低了这些风险的普遍使用风险，我们将取消“高风险”标签。我们还将随着时间的推移继续更新带有此标签的功能，以最准确地向用户传达风险。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区