📢 转载信息
原文链接：https://aws.amazon.com/blogs/machine-learning/exploring-the-zero-operator-access-design-of-mantle/
原文作者：Anthony Liguori
在亚马逊，我们建立在对增长机会进行诚实和透明讨论的文化之上，这使我们能够专注于投资和创新，以持续提高我们为客户提供价值的能力。本月早些时候，我们有机会在Mantle——我们为Amazon Bedrock打造的下一代推理引擎——中分享这一过程的一个实例。随着生成式AI推理和微调工作负载的不断发展，我们需要以优化方式演进我们为客户提供的推理服务，这促成了Mantle的开发。
当我们着手重新构想下一代推理引擎的架构时，我们将提高安全标准作为首要任务。AWS与客户对安全和数据隐私坚定不移的关注保持一致。这从一开始就是我们业务的核心，在Amazon Bedrock的早期阶段尤为突出。我们从一开始就明白，生成式AI推理工作负载为客户利用其数据的潜在价值带来了前所未有的机遇，但随之而来的是，在客户构建处理其最敏感数据并与其最关键系统交互的生成式AI系统时，需要确保最高标准的安全、隐私和合规性。
作为基线，Amazon Bedrock的设计遵循您在整个AWS中看到的相同操作安全标准。AWS始终采用最小权限模型进行操作，其中每个AWS操作员仅被授予执行其指定任务所需的最小系统集访问权限，且权限仅限于需要的时间。任何对存储或处理客户数据或元数据的系统的访问都会被记录、监控异常并进行审计。AWS会防范任何禁用或绕过这些控制的行为。此外，在Amazon Bedrock上，您的数据绝不会用于训练任何模型。模型提供商没有访问客户数据的机制，因为推理仅在模型提供商无法访问的Amazon Bedrock拥有的账户内进行。这种强大的安全态势一直是客户为解锁其敏感数据的生成式AI应用的潜力所依赖的关键推动因素。
通过Mantle，我们将标准提升到了一个新的高度。遵循AWS Nitro系统的方法，我们从头开始将Mantle设计为零操作员访问（ZOA），即我们有意排除了AWS操作员访问客户数据的任何技术手段。相反，系统和服务是使用自动化和安全的API进行管理的，这些API可以保护客户数据。在Mantle中，没有任何机制允许任何AWS操作员登录底层计算系统或访问任何客户数据，例如推理提示或完成内容。Secure Shell (SSH)、AWS Systems Manager Session Manager和串行控制台等交互式通信工具并未在Mantle的任何地方安装。此外，所有推理软件更新都需要在部署到服务之前经过签名和验证，以确保只有经过批准的代码才能在Mantle上运行。
Mantle利用最近发布的EC2实例证明功能，为客户数据处理配置了一个加固的、受限的和不可变的计算环境。Mantle中负责处理模型权重和对客户提示执行推理操作的服务，通过来自Nitro可信平台模块（NitroTPM）的加密签名证明度量，获得了更高的保证。
当客户调用Mantle端点（例如，bedrock-mantle.[regions].api.aws），例如那些为Amazon Bedrock上的Responses API提供服务的端点时，客户数据（提示）通过TLS离开客户环境，并一直加密到以ZOA运行的Mantle服务。在整个流程中以及在Mantle内部，任何操作员，无论是来自AWS、客户还是模型提供商，都无法访问客户数据。
展望未来
Mantle的ZOA设计体现了AWS对我们客户数据安全和隐私的长期承诺。正是这种关注使AWS的各个团队能够投入资源，进一步提高安全标准。同时，我们将我们内部在亚马逊使用的基础机密计算能力（例如NitroTPM证明）提供给所有客户，供他们在Amazon Elastic Compute Cloud (Amazon EC2)上使用。
我们不会止步于此；我们承诺继续投资于增强您数据的安全性，并就我们如何实现这一目标为您提供更多的透明度和保证。
关于作者
Anthony Liguori是AWS副总裁兼Amazon Bedrock杰出工程师，也是Mantle的首席工程师。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区