📢 转载信息
原文链接：https://www.kdnuggets.com/facing-the-threat-of-aijacking
原文作者：Vinod Chugani
作者图片
# 引言
一个客服AI代理接收到一封电子邮件。在几秒钟内，在没有任何人工点击链接或打开附件的情况下，它提取了你整个客户数据库并将其通过电子邮件发送给攻击者。没有警报。没有警告。
安全研究人员最近演示了针对Microsoft Copilot Studio代理的完全相同的攻击。该代理通过提示注入被愚弄，攻击者将恶意指令嵌入到看似正常的输入中。
各组织正竞相在运营中部署AI代理：客服、数据分析、软件开发。每一次部署都带来了传统安全措施尚未设计来解决的漏洞。对于构建这些系统的数据科学家和机器学习工程师来说，理解AI劫持至关重要。
# 什么是AI劫持？
AI劫持通过提示注入来操纵AI代理，使其执行绕过其预期约束的未经授权操作。攻击者将恶意指令嵌入到AI处理的输入中：电子邮件、聊天信息、文档，以及代理读取的任何文本。AI系统无法可靠地区分来自其开发者的合法命令和隐藏在用户输入中的恶意命令。
AI劫持不会利用代码中的错误。它利用了大型语言模型的工作原理。这些系统理解上下文、遵循指令并根据自然语言采取行动。当这些指令来自攻击者时，该功能就变成了一个漏洞。
Microsoft Copilot Studio的案例展示了其严重性。研究人员向一个具有客户关系管理（CRM）访问权限的客服代理发送了包含隐藏提示注入有效载荷的电子邮件。该代理自动读取了这些电子邮件，遵循了恶意指令，提取了敏感数据，并将其通过电子邮件发送回给攻击者。所有这些都没有人工干预。这是一种真正的零点击漏洞（zero-click exploit）。
传统攻击需要受害者点击恶意链接或打开受感染的文件。AI劫持是自动发生的，因为AI代理在没有对每个操作进行人工批准的情况下处理输入。这就是它们有用同时又危险的原因。
# 为什么AI劫持与传统安全威胁不同
传统网络安全保护代码级别的漏洞：缓冲区溢出、SQL注入、跨站脚本。安全团队通过防火墙、输入验证和漏洞扫描器进行防御。
AI劫持的运作方式不同。它利用了AI的自然语言处理能力，而不是编码错误。
恶意提示具有无限的变化。攻击者可以用无数种方式表达相同的攻击：使用不同的语言、不同的语气，将其隐藏在看似无害的对话中，伪装成合法的业务请求。你无法创建“不良输入”的黑名单来解决这个问题。
当微软修补Copilot Studio漏洞时，他们实施了提示注入分类器。这种方法有局限性。封堵了一种表述方式，攻击者就会重写他们的提示。
AI代理拥有广泛的权限，因为这使它们变得有价值。它们查询数据库、发送电子邮件、调用API以及访问内部系统。当代理被劫持时，它会利用所有这些权限来执行攻击者的目标。损害在几秒钟内发生。
你的防火墙无法检测到看起来像正常文本的微妙中毒提示。你的杀毒软件无法识别利用神经网络如何处理语言的对抗性指令。你需要不同的防御方法。
# 真正的风险：可能出现什么问题
数据泄露是最明显的威胁。在Copilot Studio的案例中，攻击者提取了完整的客户记录。该代理系统地查询了CRM并将结果通过电子邮件发送到外部。将这种情况扩大到拥有数百万条记录的生产系统，你面对的就是一次重大泄露。
被劫持的代理可能会发送看起来来自你组织的电子邮件，发出欺诈性请求，或者通过API调用触发财务交易。这种情况是使用代理的合法凭证发生的，使得它难以与授权活动区分开来。
权限升级会成倍放大影响。AI代理通常需要提升的权限才能正常工作。客服代理需要读取客户数据。开发代理需要代码仓库访问权限。当被劫持时，该代理就成为攻击者用来访问他们无法直接访问的系统的工具。
构建AI代理的组织通常假设现有的安全控制可以保护它们。他们认为他们的电子邮件经过了恶意软件过滤，所以邮件是安全的。或者用户经过身份验证，所以他们的输入是可信的。提示注入会绕过这些控制。AI代理处理的任何文本都可能成为攻击向量。
# 实际防御策略
防御AI劫持需要多层保护。没有单一的技术可以提供完全保护，但结合多种防御策略可以显著降低风险。
输入验证和身份验证是你的第一道防线。不要将AI代理配置为自动响应任意外部输入。如果代理处理电子邮件，请只对经验证的发件人实施严格的白名单制度。对于面向客户的代理，在授予访问敏感功能之前要求适当的身份验证。这极大地减少了你的攻击面。
为每个代理仅分配其特定功能所需的最低权限。一个回答产品问题的代理不需要写入客户数据库的权限。仔细区分读写权限。
在代理执行敏感操作（如批量数据导出、财务交易或关键系统修改）之前，要求明确的人工批准。目标不是消除代理的自主性，而是增加可能导致严重损害的操纵检查点。
记录所有代理操作，并为异常模式设置警报，例如代理突然访问的数据库记录比平时多得多、尝试进行大规模导出或联系新的外部地址。监控可能表明数据泄露的大规模操作。
架构选择可以限制损害。尽可能将代理与生产数据库隔离。使用只读副本进行信息检索。实施速率限制，这样即使被劫持的代理也不能瞬间泄露大量数据集。设计系统，使得破坏一个代理不会授予对你整个基础设施的访问权限。
在开发过程中，使用对抗性提示测试代理。尝试欺骗它们泄露不应透露的信息或绕过其约束。像对待传统软件一样进行定期的安全审查。AI劫持利用的是AI系统的工作方式。你无法像修补代码漏洞那样对其进行修补。你必须构建限制代理在被操纵时可以造成的损害的系统。
# 前进的道路：构建安全优先的AI
解决AI劫持不仅仅需要技术控制。它要求组织在方法上进行转变，以部署AI。
安全不能是团队在构建AI代理之后才添加的东西。数据科学家和机器学习工程师需要基本的安全意识：了解常见的攻击模式，考虑信任边界，并在开发过程中考虑对抗性场景。安全团队需要足够了解AI系统，以便有意义地评估风险。
行业开始做出回应。新的AI代理安全框架正在出现，供应商正在开发检测提示注入的专用工具，最佳实践正在被记录下来。我们仍处于早期阶段，因为大多数解决方案尚不成熟，组织无法通过购买来确保安全。
AI劫持不会像我们可能修补软件漏洞那样被“解决”。它本质上与大型语言模型处理自然语言和遵循指令的方式有关。随着攻击技术的演变，组织必须调整其安全实践，接受完美预防是不可能的，并将重点放在检测、响应和损害限制上。
# 结论
AI劫持代表了网络安全的一个转变。这不是理论。它正在发生，已在真实系统中得到记录，真实数据正在被窃取。随着AI代理变得越来越普遍，攻击面也在扩大。
好消息是：实用的防御措施是存在的。输入身份验证、最小权限访问、人工批准工作流程、监控和周到的架构设计都可以降低风险。分层防御使攻击更加困难。
部署AI代理的组织应审计当前部署，确定哪些代理处理不受信任的输入或拥有广泛的系统访问权限。对代理触发器实施严格的身份验证。为敏感操作添加人工批准要求。审查并限制代理权限。
AI代理将继续改变组织运营的方式。那些主动解决AI劫持问题，从一开始就将安全性构建到其AI系统中的组织，将更有能力安全地利用AI能力。
Vinod Chugani出生于印度，在日本长大，为数据科学和机器学习教育带来了全球视角。他弥合了新兴AI技术与在职专业人员的实际应用之间的鸿沟。Vinod专注于为代理AI、性能优化和AI工程等复杂主题创建易于理解的学习途径。他致力于通过现场课程和个性化指导，专注于实用的机器学习实现和指导下一代数据专业人员。
评论区