📢 转载信息
原文链接：https://www.technologyreview.com/2026/02/12/1132386/ai-already-making-online-swindles-easier/
原文作者：Rhiannon Williams
网络安全研究人员Anton Cherepanov总是在寻找有趣的东西。去年八月下旬，他正是在那时发现了一个有趣的样本。这个文件上传到了VirusTotal，这是一个安全研究人员用来分析潜在病毒和其他恶意软件（通常称为malware）的网站。表面上看，它似乎无害，但它触发了Cherepanov自定义的恶意软件检测机制。接下来的几个小时里，他和同事Peter Strýček检查了这个样本，意识到他们以前从未见过类似的东西。
该文件包含勒索软件，这是一种恶意的恶意软件，它会加密受害者系统上发现的文件，直到向幕后攻击者支付赎金，文件才会恢复可用。但这个例子与众不同之处在于它使用了大型语言模型（LLMs）。不是偶然使用，而是在攻击的每个阶段都使用了LLM。一旦安装，它可以实时调用LLM来生成定制代码，快速映射计算机以识别要复制或加密的敏感数据，并根据文件内容编写个性化的勒索信。该软件可以自主运行，无需任何人工干预。而且每次运行时，它的行为都会不同，使其更难被检测到。
Cherepanov和Strýček确信他们的发现（他们将其命名为PromptLock）标志着生成式AI的一个转折点，表明该技术如何被利用来创建高度灵活的恶意软件攻击。他们发布了一篇博客文章，宣布他们发现了第一个AI驱动的勒索软件的例子，该文章迅速引起了全球媒体的广泛关注。
但威胁并非一开始看起来那么严重。博客文章上线后第二天，纽约大学的一个研究小组声称对此负责，解释说该恶意软件实际上并非在野外释放的完整攻击，而只是一个研究项目，旨在证明他们可以实现勒索软件攻击的每个步骤的自动化——他们确实做到了。
PromptLock可能只是一个学术项目，但真正的坏人确实在使用最新的AI工具。正如软件工程师使用人工智能来帮助编写代码和检查错误一样，黑客也使用这些工具来减少策划攻击所需的时间和精力，从而降低了经验不足的攻击者尝试新方法的门槛。
伦敦大学学院计算机科学教授Lorenzo Cavallaro表示，网络攻击未来变得更常见、更有效的可能性不是一个遥远的假设，而是“一个纯粹的现实”。
硅谷的一些人警告说，AI即将能够执行完全自动化的攻击。但大多数安全研究人员认为这种说法被夸大了。在安全公司Expel担任首席威胁研究员的Marcus Hutchins（他因在2017年终止了名为WannaCry的大规模全球勒索软件攻击而在安全界闻名）说：“不知何故，每个人都只关注‘AI超级黑客’的恶意软件概念，这简直是荒谬的。”
相反，专家们认为，我们应该更加关注AI带来的更直接的风险，即AI已经在加速和增加诈骗数量。犯罪分子越来越多地利用最新的深度伪造技术来冒充他人，骗取受害者巨额资金。这些由AI增强的网络攻击只会变得越来越频繁、越来越具有破坏性，而我们需要做好准备。
垃圾邮件及其他
自2022年底ChatGPT爆炸式流行以来，攻击者几乎立即开始采用生成式AI工具。不出所料，这些努力始于创建垃圾邮件——而且数量巨大。去年，微软的一份报告称，在截至2025年4月的一年中，该公司阻止了价值40亿美元的诈骗和欺诈交易，“其中许多很可能得到了AI内容的帮助。”
根据哥伦比亚大学、芝加哥大学和Barracuda Networks研究人员的估计，目前至少一半的垃圾邮件是使用LLM生成的。他们分析了在ChatGPT发布前后收集的近50万条恶意信息。他们还发现了AI越来越多地被部署在更复杂的计划中的证据。他们研究了定向电子邮件攻击，这种攻击会冒充组织中受信任的人物，以诱骗内部员工转账或泄露敏感信息。到2025年4月，他们发现，至少有14%的此类集中式电子邮件攻击是使用LLM生成的，高于2024年4月的7.6%。
在一个著名的案例中，一名员工被诱骗通过与其公司首席财务官和其他员工的数字版本进行的视频通话，向罪犯转账了2500万美元。
生成式AI的繁荣使得生成电子邮件，以及高度逼真的图像、视频和音频，比以往任何时候都更容易、更便宜。其结果比短短几年前要真实得多，而且生成某人肖像或声音的假版本所需的数据也比以前少得多。
生成式AI专家Henry Ajder表示，犯罪分子部署这些深度伪造并不是为了恶作剧或单纯玩闹——他们这样做是因为这很有效，而且他们从中获利。“如果有利可图，人们会继续上当受骗，他们就会继续这样做，”他说。在2024年报道的一个知名案例中，英国工程公司Arup的一名员工被诱骗通过与其公司首席财务官和其他员工的数字版本进行的视频通话，向罪犯转账了2500万美元。这可能只是冰山一角，随着技术的进步和更广泛的应用，令人信服的深度伪造带来的问题只会变得更糟。
犯罪分子的策略一直在演变，随着AI能力的提高，这些人不断地探究如何利用这些新能力来获得对受害者的优势。谷歌威胁分析小组的技术负责人Billy Leonard一直在密切关注潜在的不法行为者（该行业对试图使用计算机进行犯罪的黑客和其他人的通用术语）对AI的使用变化。在2024年下半年，他和他的团队注意到，潜在的罪犯像普通用户一样使用Google Gemini等工具——用于调试代码和自动化工作的一小部分——以及要求它编写一些钓鱼邮件。他说，到2025年，他们已经进展到使用AI来帮助创建新的恶意软件并将其投放野外。
现在的大问题是这种恶意软件能走多远。它最终会变得足够强大，可以秘密渗透数千家公司的系统并提取数百万美元，同时完全不被察觉吗？
大多数流行的AI模型都设有护栏，以防止它们生成恶意代码或非法内容，但坏人仍然会找到绕过它们的方法。例如，谷歌观察到一个与中国有关的行为者要求其Gemini AI模型识别受感染系统上的漏洞——该模型最初以安全为由拒绝了这一请求。然而，该攻击者设法通过冒充“夺旗”比赛（一种流行的网络安全游戏）的参与者，说服Gemini违反了自己的规则。这种狡猾的越狱（jailbreaking）形式使Gemini交出了本可用于利用该系统的关键信息。（谷歌后来调整了Gemini以拒绝此类请求。）
但是，坏人不仅仅关注试图操纵AI巨头的模型以达到其邪恶目的。英特尔471公司（Intel 471）的高级情报分析师、美国司法部前战术专家Ashley Jess表示，他们未来更有可能采用开源AI模型，因为更容易移除它们的保护措施并让它们执行恶意操作。“我认为那些是[坏]行为者将采用的模型，因为他们可以对它们进行越狱并根据需要进行定制，”她说。
纽约大学团队在PromptLock实验中使用了OpenAI的两个开源模型，研究人员发现他们甚至不需要诉诸越狱技术就能让模型按他们想要的方式工作。他们表示，这使得攻击容易得多。纽约大学从事该项目的一名博士生Meet Udeshi说，尽管这些开源模型在设计时考虑了道德对齐（即制造商在指导模型如何响应请求时会考虑某些目标和价值观），但这些模型的限制不如闭源模型严格。“我们试图测试的就是这一点，”他说。“这些LLM声称它们是道德对齐的——我们是否仍然可以滥用它们来实现这些目的？答案是肯定的。”
Udeshi说，有可能犯罪分子已经成功实施了隐蔽的PromptLock式攻击，而我们只是从未见过任何证据。如果是这样，攻击者理论上可以创建一个完全自主的黑客系统。但要做到这一点，他们必须克服让AI模型可靠运行的巨大障碍，以及模型对被用于恶意目的的任何内置的厌恶感——同时还要逃避检测。这确实是一个很高的门槛。
黑客的生产力工具
那么，我们确定地知道什么？关于人们如何尝试将AI用于恶意目的，我们现在拥有的最好的数据来自大型AI公司本身。他们的发现乍一看确实令人担忧。去年11月，谷歌的Leonard团队发布了一份报告，发现不法行为者正在使用AI工具（包括谷歌的Gemini）动态改变恶意软件的行为；例如，它可以自我修改以逃避检测。该团队写道，这开启了“AI滥用操作的新阶段”。
然而，正如网络安全作家Kevin Beaumont在社交媒体上指出的那样，该报告深入研究的五个恶意软件家族（包括PromptLock）的代码很容易被检测到，而且实际上并未造成任何伤害。“报告中没有任何内容表明组织需要偏离基础安全计划——一切都按预期工作，”他写道。
Leonard承认，这种恶意软件活动确实处于早期阶段。但他认为发布这些报告是有价值的，如果这能帮助安全供应商和其他人构建更好的防御措施，以防止未来出现更危险的AI攻击。“老套但管用，阳光是最好的消毒剂，”他说。“对我们没有好处的是对这些事情保密或隐藏起来。我们希望人们能够了解这些——我们希望其他安全供应商也能了解这些——以便他们能够继续构建自己的检测能力。”
而且，想要成为攻击者不仅仅是在试验新型恶意软件——他们似乎还试图使用AI来自动化黑客攻击目标的流程。去年11月，Anthropic宣布它已经挫败了一次大规模网络攻击，这是第一起在没有“大量人工干预”的情况下执行的案件。虽然该公司没有详细说明黑客使用的确切策略，但报告的作者表示，一个中国政府支持的组织使用其Claude Code助手自动化了他们所说的“高度复杂的间谍活动”高达90%的工作量。
“我们正在进入一个时代，复杂网络行动的门槛已经从根本上降低了，攻击的速度将比许多组织准备的要快。”
Jacob Klein，Anthropic威胁情报主管
但是，与谷歌的发现一样，这次也有保留意见。选择目标的不是AI，而是人工操作员，然后才指示Claude识别漏洞。在30次尝试中，只有“少数”次成功。Anthropic的报告还发现，Claude在整个活动中出现幻觉并最终伪造了数据，声称获得了它实际上没有的凭证，并且“经常”夸大其发现，因此攻击者必须仔细验证这些结果以确保它们确实是真实的。“这仍然是完全自主网络攻击的一个障碍，”报告作者写道。
弗吉尼亚州Berryville机器学习研究所联合创始人、资深安全专家Gary McGraw表示，任何合理安全的组织中现有的控制措施都能阻止这些攻击。“恶意攻击部分，比如漏洞利用……实际上并不是由AI完成的——它只是预先制作好的工具，这些工具已经自动化了20年，”他说。“这次攻击在技术上、创造性上或趣味性上没有任何新意。”
Anthropic坚持认为，该报告的发现是未来变化的令人担忧的信号。Anthropic威胁情报主管Jacob Klein在一份声明中表示：“通过[AI]智能体协调将如此多的入侵活动步骤联系起来是前所未有的。”“它将一个一直以来劳动密集型的过程变成了一个更具可扩展性的东西。我们正在进入一个时代，复杂网络行动的门槛已经从根本上降低了，攻击的速度将比许多组织准备的要快。”
有些人不相信有理由感到恐慌。Hutchins说，AI炒作导致网络安全行业的许多人高估了模型当前的能力。“他们想要那种不可阻挡的AI能够超越安全控制的想法，所以他们预测这就是我们前进的方向，”他说。但“根本没有证据支持这一点，因为AI的能力根本达不到任何要求。”
事实上，目前犯罪分子大多似乎是利用AI来提高他们的生产力：使用LLM编写恶意代码和钓鱼诱饵、进行侦察以及进行语言翻译。Jess在地下犯罪市场看到很多此类活动，以及销售工具的努力。例如，存在一些钓鱼工具包，可以比较不同垃圾邮件活动的点击成功率，以便犯罪分子可以随时跟踪哪些活动最有效。她说，她在这被称为“AI垃圾地带”（AI slop landscape）的活动中看到了很多，但没有看到“来自高技术行为者的广泛采用”。
但攻击不必很复杂也能奏效。生成“足够好”结果的模型使攻击者能够针对比以往更多的人，网络安全公司NCC Group的管理安全顾问Liz James说。“我们谈论的是一个可能采用‘散弹枪’式方法向大量人员发送钓鱼邮件的人，如果这种模型成功地感染了一个目标机器……并且该机器没有任何防御措施……它可以相当熟练地加密你的硬盘，”她说。“你就达到了你的目标。”
防御
目前，研究人员对我们防御这些威胁的能力感到乐观——无论它们是否由AI制造。“尤其是在恶意软件方面，我们在过去十多年推荐的大多数防御、能力和最佳实践——它们仍然适用，”Leonard说。我们用来检测标准病毒和攻击尝试的安全程序仍然有效；例如，许多钓鱼邮件仍然会被收件箱中的垃圾邮件过滤器捕获。这些传统的防御形式在很大程度上仍然可以完成工作——至少目前是这样。
有趣的是，AI本身也有助于更有效地应对安全威胁。毕竟，它非常擅长发现模式和关联。微软安全公司企业副总裁Vasu Jakkal表示，该公司每天都会处理由其AI系统标记的超过100万亿个被标记为潜在恶意或可疑事件的信号。
尽管网络安全形势不断变化，但Jess对防御者愿意与他人共享有关攻击者战术的详细信息感到鼓舞。麻省理工学院（Mitre）的《人工智能系统对抗性威胁态势图景》（Adversarial Threat Landscape for Artificial-Intelligence Systems）和开放式全球应用程序安全项目（Open Worldwide Application Security Project）的GenAI安全项目是两个有用的举措，它们记录了潜在犯罪分子如何将AI纳入其攻击以及AI系统如何成为他们针对的目标。“我们有一些很好的资源来了解如何保护您自己的内部AI工具，并了解来自网络犯罪分子手中的AI工具的威胁，”她说。
PromptLock是有限大学项目的结果，不能代表现实世界中攻击会如何发展。但它教会我们的任何东西都是，不应忽视AI的技术能力。纽约大学的Udeshi说，他对AI能够轻松处理完整的端到端攻击链感到惊讶，从映射和找出如何闯入目标计算机系统，到为受害者编写个性化的勒索信：“我们预计它会很好地完成初始任务，但稍后会遇到麻烦，但我们在整个流程中看到了很高的成功率——80%到90%。”
AI仍在快速发展中，今天的系统已经能够完成几年前看来完全遥不可及的事情。这使得我们很难完全自信地说它将来会实现什么（或不会实现什么）。虽然研究人员确信AI驱动的攻击在数量和严重性上都可能增加，但它们可能采取的形式尚不清楚。最极端的可能性也许是有人创建了一个能够创建和自动化其自身零日漏洞（zero-day exploits）的AI模型——这是一种利用软件中先前未知的漏洞的高度危险的网络攻击。但Hutchins说，构建和托管这样一个模型并逃避检测将需要数十亿美元的投资，这意味着只有财力雄厚的国家才能负担得起。
波士顿东北大学专门研究恶意软件检测和分析的教授Engin Kirda表示，如果这种情况已经在发生，他不会感到惊讶。“我敢肯定有人正在投资，但我也很确定有人已经在这样做了，尤其是在中国——他们的AI能力很强，”他说。
这是一个相当可怕的可能性。但值得庆幸的是，这仍然只是理论上的。一场大规模的、有效且明显由AI驱动的活动尚未出现。我们可以肯定地说的是，生成式AI已经显著降低了犯罪分子的门槛。他们将继续试验最新的版本和更新，并试图找到欺骗我们交出重要信息和宝贵现金的新方法。就目前而言，我们所能做的就是小心谨慎，保持警惕，并且——为了我们所有人的利益——跟上系统更新。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区