📢 转载信息
原文链接：https://www.wired.com/story/ai-bots-are-now-a-signifigant-source-of-web-traffic/
原文作者：Will Knight
病毒式传播的虚拟助手 OpenClaw——之前被称为 Moltbot，再早前是 Clawdbot——是正在发生的更广泛革命的象征，这场革命可能会从根本上改变互联网的功能。互联网可能很快不再是一个主要由人类居住的地方，而是由自主人工智能机器人主导。
一份衡量网络机器人活动的新报告，以及互联网基础设施公司 Akamai 与 WIRED 共享的相关数据表明，AI 机器人已经占据了有意义的网络流量份额。这些发现也揭示了一场日益复杂的“军备竞赛”，因为机器人部署了巧妙的策略来绕过旨在阻止它们的网站防御措施。
TollBit 联合创始人兼首席执行官 Toshit Pangrahi 表示：“未来，互联网的大部分将是机器人流量。这不仅仅是一个版权问题，互联网上出现了一种新的访客类型。” TollBit 是一家跟踪网络抓取活动的***公司***，并发布了这份新报告。
大多数大型网站都试图限制机器人可以抓取并输入 AI 系统进行训练的内容。（WIRED 的母公司 Condé Nast 以及其他出版商目前正在就与 AI 训练相关的涉嫌侵犯版权问题起诉多家 AI 公司。）
但另一种与 AI 相关的网站抓取活动也正在增加。许多聊天机器人和其他 AI 工具现在可以从网络上检索实时信息，并用它来增强和改进它们的输出。这可能包括最新的产品价格、电影院排片表或最新新闻摘要。
根据 Akamai 的数据，与训练相关的机器人流量自去年 7 月以来一直在稳步上升。与此同时，为 AI 代理获取网络内容的机器人产生的全球活动也在增加。
Akamai 首席技术官 Robert Blumofe 告诉 WIRED：“AI 正在改变我们所知的互联网。由此产生的军备竞赛将决定互联网的未来外观、感觉和功能，以及商业活动的基本要素。”
TollBit 估计，在 2025 年第四季度，其客户网站的访问量中，平均每 50 次访问中就有 1 次来自 AI 抓取机器人。而在 2025 年的前三个月，这个比例仅为每 200 次访问中有 1 次。该公司表示，在第四季度，超过 13% 的机器人请求绕过了 robots.txt 文件，该文件是一些网站用来指示应避免哪些页面的文件。TollBit 表示，无视 robots.txt 的 AI 机器人的份额从去年的第二季度到第四季度增长了 400%。
TollBit 还报告称，过去一年中，试图阻止 AI 机器人的网站数量增加了 336%。Pangrahi 表示，随着网站试图控制机器人访问其内容的方式，抓取技术正变得越来越复杂。一些机器人通过使它们的流量看起来像是来自正常的网络浏览器或发送旨在模仿人类正常与网站交互的请求来伪装自己。TollBit 的研究指出，某些 AI 代理的行为现在几乎与人类网络流量**难以区分**。
TollBit 为网站所有者营销工具，网站所有者可利用这些工具向 AI 抓取者收取内容访问费用。包括 Cloudflare 在内的其他公司，也提供类似的工具。“任何依赖人类网络流量的人——首先是出版商，但基本上是所有人——都将受到影响，” Pangrahi 说。“需要有一种更快的方式来进行这种**机器对机器、程序化的价值交换**。”
WIRED 试图联系 TollBit 报告中引用的 15 家 AI 抓取公司征求评论。大多数公司没有回应或无法联系上。其中几家表示，他们的 AI 系统旨在遵守网站为限制抓取而设置的技术边界，但他们指出，此类保护措施通常很复杂且难以遵循。
全球最大的网络抓取公司之一 Bright Data 的首席执行官 Or Lenchner 表示，他公司的机器人不会收集非公开信息。Bright Data 此前曾被 Meta 和 X 因涉嫌不当抓取其平台内容而被起诉。（Meta 后来撤销了诉讼，加州联邦法官驳回了 X 提起的案件。）
另一家被引用的公司 ScrapingBee 的发言人 Karolis Stasiulevičiu 告诉 WIRED：“ScrapingBee 遵循互联网的核心原则之一：**开放网络旨在易于访问**。公共网页的设计就是为了供人类和机器都能读取。”
另一家抓取公司 Oxylabs 在一份未署名的声明中表示，其机器人不会“访问登录、付费墙或身份验证后面的内容。我们要求客户仅将我们的服务用于访问公开信息，并且我们在整个平台中强制执行合规标准。”
Oxylabs 补充说，公司抓取网络内容有许多合理的理由，包括网络安全目的和进行调查性新闻报道。该公司还表示，一些网站使用的反制措施并未区分不同的用例。“现实情况是，许多现代反机器人系统无法很好地区分恶意流量和合法的自动化访问，” Oxylabs 说。
除了给出版商带来麻烦之外，网络抓取大战也正在创造新的商业机会。TollBit 的报告发现了 40 多家公司，它们现在正在营销机器人，这些机器人可以为 AI 训练或其他目的收集网络内容。人工智能驱动的搜索引擎的兴起，以及 OpenClaw 等工具，可能有助于推动对这些服务的需求。
一些公司承诺帮助企业向 AI 代理展示内容，而不是试图阻止它们，这种策略被称为生成式引擎优化（GEO）。Brandlight 首席商务官 Uri Gafni 是一家优化内容使其在 AI 工具中突出显示的公司，他说：“我们基本上看到了**一种新的营销渠道的兴起**。”
Gafni 补充说：“这种情况在 2026 年只会加剧，我们将看到它作为一个完整的营销渠道展开，其中搜索、广告、媒体和电子商务正在融合。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区