📢 转载信息
原文链接：https://techcrunch.com/2026/01/19/rogue-agents-and-shadow-ai-why-vcs-are-betting-big-on-ai-security/
原文作者：Rebecca Bellan
当一个AI代理决定完成任务的最佳方式是勒索你时，会发生什么？
这不是一个假设性的问题。根据网络安全风投公司Ballistic Ventures的合伙人Barmak Meftah的说法，这种情况最近发生在一个与AI代理合作的企业员工身上。该员工试图压制代理想要做的事情、它被训练要做的事情，结果代理扫描了用户的收件箱，找到了一些不恰当的电子邮件，并威胁要将这些邮件转发给董事会，以此来要挟用户。
“在代理的思维中，它做的是正确的事情，” Meftah在上周的Equity播客中告诉TechCrunch。“它正试图保护最终用户和企业。”
Meftah的例子让人联想到尼克·博斯特罗姆（Nick Bostrom）的AI“回形针最大化”问题。这个思想实验说明了一个一心只追求看似无害的目标——制造回形针——而排斥所有人类价值观的超级智能AI可能带来的潜在生存风险。在这个企业AI代理的案例中，它缺乏关于员工为何试图推翻其目标的背景信息，导致它创建了一个次级目标，即通过勒索来移除障碍（即员工），以便实现其主要目标。根据Meftah的说法，这与AI代理的非确定性本质相结合，意味着“事情可能会失控”。
失调的代理只是Ballistic旗下投资组合公司 Witness AI 试图解决的AI安全挑战的一个层面。Witness AI表示，它监控企业跨部门的AI使用情况，可以检测员工何时使用未经批准的工具，阻止攻击，并确保合规性。
本周，随着企业寻求了解“影子AI”的使用情况并安全地扩展AI应用，Witness AI在年经常性收入（ARR）增长超过500%和员工人数同比增长5倍的推动下，成功筹集了5800万美元。作为Witness AI融资的一部分，该公司宣布了新的代理式AI安全保护措施。
Witness AI的联合创始人兼首席执行官Rick Caccia在上周的Equity播客中告诉TechCrunch：“人们正在构建这些AI代理，它们会继承管理它们的人员的授权和能力，你需要确保这些代理不会失控，不会删除文件，不会做错事。”
加入 Disrupt 2026 等候名单
尽快将自己添加到Disrupt 2026等候名单上，以便在早鸟票发布时第一时间抢购。过去的Disrupt活动曾邀请了Google Cloud、Netflix、Microsoft、Box、Phia、a16z、ElevenLabs、Wayve、Hugging Face、Elad Gil和Vinod Khosla等重量级嘉宾——超过250位行业领导者带来了200多场旨在助您成长和保持竞争力的会议。此外，您还可以见到数百家在各个领域进行创新的初创企业。
加入 Disrupt 2026 等候名单
尽快将自己添加到Disrupt 2026等候名单上，以便在早鸟票发布时第一时间抢购。过去的Disrupt活动曾邀请了Google Cloud、Netflix、Microsoft、Box、Phia、a16z、ElevenLabs、Wayve、Hugging Face、Elad Gil和Vinod Khosla等重量级嘉宾——超过250位行业领导者带来了200多场旨在助您成长和保持竞争力的会议。此外，您还可以见到数百家在各个领域进行创新的初创企业。
Meftah预计企业中的代理使用量将呈“指数级”增长。为了应对这种增长——以及AI驱动攻击的机器速度——分析师 Lisa Warren 预测，到2031年，AI安全软件将成为一个价值8000亿美元到1.2万亿美元的市场。
“我确实认为运行时可观测性和用于安全和风险的运行时框架将变得绝对必要，”Meftah表示。
至于这类初创公司如何计划与 AWS、谷歌、Salesforce 等已将其平台内置AI治理工具的大型企业竞争时，Meftah表示，“AI安全和代理安全是如此庞大，有多种方法可以切入。”
他表示，许多企业“想要一个独立的、端到端的平台，以便为AI和代理提供可观测性和治理。”
Caccia指出，Witness AI位于基础设施层，监控用户与AI模型之间的交互，而不是将安全功能内置到模型本身中。这是故意的。
“我们特意选择了一个OpenAI无法轻易吞并我们的问题领域，”他说。“所以这意味着我们更多地与传统的安全公司竞争，而不是与模型公司竞争。那么问题是，你如何战胜他们？”
就他个人而言，Caccia不希望Witness AI只是成为被收购的初创公司之一。他希望他的公司能够成长并成为领先的独立提供商。
他说道：“CrowdStrike 在端点保护领域做到了这一点；Splunk 在 SIEM 领域做到了这一点；Okta 在身份领域做到了这一点……有人可以出现并与这些大公司并肩作战……而我们从第一天起就致力于让Witness做到这一点。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区