目 录CONTENT

文章目录

Amazon Bedrock AgentCore 浏览器中 Web Bot Auth(预览版)如何减少 AI 代理浏览网页时的 CAPTCHA 验证

Administrator
2025-10-31 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

📢 转载信息

原文链接:https://aws.amazon.com/blogs/machine-learning/reduce-captchas-for-ai-agents-browsing-the-web-with-web-bot-auth-preview-in-amazon-bedrock-agentcore-browser/

原文作者:Veda Raman, Kosti Vasilakakis, and Joshua Samuel


AI 代理需要代表您浏览网页。当您的代理访问网站以收集信息、填写表单或验证数据时,它会遇到旨在阻止不受欢迎机器人的相同防御措施:CAPTCHA、速率限制和直接屏蔽。


今天,我们很高兴地宣布 AWS 有了一个解决方案。Amazon Bedrock AgentCore Browser——我们用于 AI 代理与网站交互的安全、基于云的浏览器——现已支持 Web Bot Auth(预览版)。这是一个 IETF 草案协议,它为代理提供可验证的加密身份。


CAPTCHA 摩擦

客户告诉我们,CAPTCHA 摩擦是可靠的基于浏览器的代理工作流程面临的最大障碍之一。您的代理会在任务中途停止,等待人工干预来解决一个证明您不是机器人的谜题——但您的代理确实是机器人,这正是问题的关键所在。CAPTCHA 的存在是有充分理由的。网站面临着保护其内容、库存和评论的持续挑战。Web 应用程序防火墙 (WAF) 和机器人检测服务可以保护这些网站,但它们几乎将所有自动化流量视为可疑,因为它们没有可靠的方法来区分合法代理和恶意代理。


一些自动化提供商试图以编程方式解决 CAPTCHA——使用计算机视觉模型读取扭曲的文本或点击图像网格,直到谜题清除。这种方法很脆弱、成本高昂,并且绕过了域所有者为其内容设计的控制措施。其他方法依赖于 IP 白名单或 User-Agent 字符串。当您在云环境中运行代理时,IP 白名单会失效,因为地址会频繁更改。User-Agent 字符串可以被任何人伪造,因此它们不提供任何验证,并带来模仿受信任字符串的风险。这两种方法都需要与您想要访问的每个网站进行手动协调,这无法扩展。


Web Bot Auth:用于网络浏览代理的加密身份

Web Bot Auth 是一个 IETF 草案协议,它为代理提供可验证的加密身份。当您在 AgentCore Browser 中启用 Web Bot Auth 时,我们会颁发网站可以验证的加密凭证。代理在每次请求时都会出示这些凭证。WAF 现在可以额外检查签名,确认其与受信任的目录匹配,如果域所有者允许经过验证的机器人在其他 WAF 检查都通过的情况下,请求即可通过。


AgentCore 正在与 CloudflareHUMAN SecurityAkamai Technologies 合作,以支持此验证流程。这些提供商保护着数百万个网站。当您在配置中创建启用了签名的 AgentCore Browser 时,我们会自动将您代理的签名目录注册到这些提供商处。许多域默认配置其 WAF 以允许经过验证的机器人,这意味着在发生这种情况的情况下,您无需额外设置即可立即看到 CAPTCHA 减少。


域所有者如何控制访问

WAF 提供商使用 Web Bot Auth 为网站所有者提供三个级别的控制:

  • 阻止所有机器人 – 有些网站选择完全阻止自动化流量。Web Bot Auth 不会绕过此设置——如果一个域不希望有任何自动化,其选择将得到尊重。
  • 允许经过验证的机器人 – 许多域将其 WAF 配置为允许任何出示有效加密签名的机器人。这是受 Cloudflare、HUMAN Security 和 Akamai Technologies 保护的越来越多的网站的默认策略。当您启用签名(作为 AgentCore Browser 配置中的一个参数)时,此策略将应用于您的代理。
  • 允许特定的经过验证的机器人在特定操作中运行 – 例如,自动化供应商门户访问的金融服务公司可以与其供应商共享其唯一的目录。供应商可以创建规则,例如“允许 FinCo 代理每分钟 100 次请求,不允许它们创建新帐户,并阻止所有其他已签名的代理”。这在提供加密验证优势的同时,使网站能够进行精细控制。

AgentCore Browser 中 Web Both Auth 支持的今日预览版发布,通过使您的代理显示为经过验证的机器人,有助于减少在允许经过验证的机器人的域上与 CAPTCHA 产生的摩擦。一旦 Web Bot Auth 协议最终确定,AgentCore 打算过渡到客户特定的密钥,以便 AgentCore 用户可以使用仅允许指定经过验证的机器人的控制层级。


使用 Web Bot Auth 协议

要启用浏览器使用 Web Bot Auth 协议签署请求,请创建一个带有 browserSigning 配置的浏览器工具:

import boto3
cp_client = boto3.client('bedrock-agentcore-control')
response = cp_client.create_browser( name="signed_browser", description="Browser tool with Web Bot Auth enabled", networkConfiguration={ "networkMode": "PUBLIC" }, executionRoleArn="arn:aws:iam::123456789012:role/AgentCoreExecutionRole", browserSigning={ "enabled": True }
)
browserId = response['browserId']

将浏览器标识符传递给您的代理框架。以下是使用 Strands Agents 的示例:

from strands import Agent
from strands_tools.browser import AgentCoreBrowser
agent_core_browser = AgentCoreBrowser( region="us-west-2", identifier=browserId
)
strands_agent = Agent( tools=[agent_core_browser.browser], model="anthropic.claude-4-5-haiku-20251001-v1:0", system_prompt="You are a website analyst. Use the browser tool efficiently."
)
result = strands_agent("Analyze the website at <https://example.com/>")

现在,代理已配置为使用对每个 HTTP 请求进行签名的新的浏览器工具。受 Cloudflare、HUMAN Security 或 Akamai Technologies 保护的网站可以验证签名,并在域所有者允许经过验证的机器人时,无需显示 CAPTCHA 即可允许请求通过。


协议开发

Web Bot Auth 协议正在获得行业关注,因为它解决了一个实际问题:没有可验证的身份,合法自动化与滥用行为就无法区分。您可以阅读该草案协议规范,HTTP Message Signatures for automated traffic Architecture。该架构定义了代理如何生成签名、WAF 如何验证它们,以及密钥目录如何实现发现。亚马逊正与 Cloudflare 和许多流行的 WAF 提供商合作,以帮助最终确定客户特定的密钥目录格式,并致力于最终确定该草案。


结论

Amazon Bedrock AgentCore Browser 已正式可用,Web Bot Auth 功能处于预览阶段。AgentCore Browser 使用 Web Bot Auth 协议签署请求,有助于减少在允许经过验证的机器人的域上与 CAPTCHA 产生的摩擦。随着协议的最终确定,AgentCore Browser 打算颁发客户特定的密钥和目录,以便您可以向特定网站证明您代理的身份,并与您需要访问的域建立信任关系。


Web Bot Auth 使代理能够在受到挑战时证明其身份,减少自动化工作流中的操作摩擦,并使网站所有者能够控制哪些代理可以访问其资源。Amazon Bedrock AgentCore Browser 对 Web Bot Auth(预览版)的支持 提供了实现这一目标的基础设施层。


关于作者

Veda Raman 是 AWS 生成式 AI 和机器学习方面的资深专家解决方案架构师。Veda 与客户合作,帮助他们构建高效、安全且可扩展的机器学习应用程序。Veda 专注于 Amazon Bedrock 和 Amazon SageMaker 等生成式 AI 服务。

Kosti Vasilakakis 是 AWS Agentic AI 团队的首席产品经理,他在该团队中从头开始领导了多个 Bedrock AgentCore 服务的设计和开发,包括 Runtime、Browser、Code Interpreter 和 Identity。他之前曾在 Amazon SageMaker 的早期工作,推出了如今被数千家公司广泛使用的 AI/ML 功能。在他职业生涯的早期,Kosti 是一名数据科学家。工作之余,他构建个人生产力自动化工具,打网球,并与妻子和孩子们一起享受生活。

Joshua Samuel 是 AWS 的资深 AI/ML 专家解决方案架构师,驻扎在澳大利亚墨尔本,通过 AI/ML 和生成式 AI 解决方案加速企业转型。他是一位充满热情的颠覆者,专注于代理式 AI 和编码技术——任何能让构建者更快、更快乐的事情。




🚀 想要体验更好更全面的AI调用?

欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,文档丰富,小白也可以简单操作。

0

评论区