📢 转载信息
原文作者：James Park, Sean Foo, Shrikar Katti, Gaurang Sinkar, Somu Perianayagam, and Saurabh Trikande
亚马逊团队构建了Rufus，这是一款AI驱动的购物助手，旨在为取悦客户提供智能、对话式的体验。
今年已有超过2.5亿客户使用过Rufus。月活跃用户同比增长140%，交互次数同比增长210%。此外，在购物过程中使用过Rufus的客户，完成购买的可能性要高出60%。为了实现这一目标，我们的团队仔细评估每一个决策，旨在专注于最重要的事情：构建最佳的代理式购物助手体验。通过关注客户驱动的功能，Rufus现在更智能、更快、更有用。
在本文中，我们将分享我们采用 Amazon Bedrock 如何加速了Rufus的演进。
构建以客户为中心的架构
明确的用例是塑造需求和实施的基础，构建AI驱动的购物助手也不例外。对于像Rufus这样的购物助手，我们的用例与客户提出的问题类型相一致，我们的目标是超越客户的期望。例如，客户可能想了解他们正在考虑的鞋子的事实信息，并问道：“这些鞋子防水吗？”另一个客户可能想向Rufus寻求推荐，并问道：“给我一些适合马拉松跑步的好鞋子选择。”这些例子仅代表了我们通过从客户用例反向工作来设计Rufus以支持的多样化问题类型的一小部分。
在我们定义了客户用例之后，我们从整个技术栈的角度设计Rufus，以确保它能为客户无缝工作。从初始发布到后续迭代，我们收集指标来查看Rufus的表现如何，目标是不断改进。这意味着不仅要使用LLM-as-a-judge等工具来衡量问题的回答准确性，还要分析延迟、重复客户参与度和每次交互的对话轮次等因素，以深入了解客户参与度。
超越我们内部的LLM
我们首先通过构建自己的内部大型语言模型（LLM）来推出Rufus。构建定制LLM的决定是出于需要使用一种专门针对购物领域问题的模型。起初，我们考虑了现成的模型，但大多数模型在我们的购物评估（evals）中表现不佳。其他模型带来了体积更大、速度更慢、成本更高的代价。我们不需要一个在许多领域表现良好的模型，我们需要一个在购物领域表现良好，同时保持高准确性、低延迟和成本效益的模型。通过构建我们的定制LLM并使用AWS硅芯片进行部署，我们能够在像Prime Day这样的大规模活动中部署到全球，当时我们使用了80,000个AWS Inferentia和Trainium芯片。
在Rufus初步成功之后，我们着眼于扩展到需要高级推理、更大上下文窗口和多步推理的用例。然而，训练一个LLM带来了重大的挑战：迭代可能需要数周或数月才能完成。随着更新、更强大的模型以加速的速度发布，我们力求尽快改进Rufus，并开始快速评估和采用最先进的模型。要发布这些新功能并构建一个真正出色的购物助手，Amazon Bedrock是自然的选择。
利用 Amazon Bedrock 加速 Rufus
Amazon Bedrock是用于构建生成式AI应用程序和代理的全面、安全且灵活的平台。Amazon Bedrock将您与领先的基础模型（FM）、用于部署和操作代理的服务，以及用于微调、保护和优化模型的工具连接起来，并提供知识库，将应用程序连接到您的最新数据，因此您拥有将快速从实验过渡到实际部署所需的一切。Amazon Bedrock为您提供了访问来自领先AI公司的数百个FM的权限，以及用于根据您的独特性能和成本需求选择最佳模型的评估工具。
Amazon Bedrock为我们带来了巨大的价值，因为它：
- 管理托管来自不同提供商的领先基础模型（FM），并通过模型无关的接口（如converse API）使其可用。通过提供对前沿模型的访问，我们可以快速评估并集成它们，而对现有系统的更改最小。这提高了我们的速度。我们可以为特定任务使用最佳模型，同时平衡成本、延迟和准确性等特性。
- 解决了Rufus团队面临的重大运营开销，例如管理模型托管基础设施、处理全球范围内的扩展挑战，或维护亚马逊运营所在地的模型服务管道。Bedrock负责繁重的工作，让客户能够专注于为他们独特的需求构建创新解决方案。
- 提供全球可用性，支持多地理区域的统一部署。通过使用Amazon Bedrock，我们以最小的努力快速在新市场中推出。
Amazon Bedrock托管的模型还有助于Rufus支持跨模态（包括文本和图像）的广泛体验。即使在文本到文本这样的特定模态中，用例在复杂性、流量和延迟要求上也可能有所不同。一些场景，如“规划露营旅行”、“给我妈妈的礼物推荐”或风格建议，需要更深入的推理、多轮对话和对网页搜索等工具的访问，以提供丰富的情境化、个性化答案。简单的产品查询，例如“这把钻头的功率是多少？”，可以由更小、更快的模型高效处理。
我们的策略结合了多种模型来驱动Rufus，包括Amazon Nova、Anthropic的Claude Sonnet以及我们的定制模型，这样我们就可以提供最可靠、最快、最直观的客户体验。
将 Amazon Bedrock 与 Rufus 集成
通过Amazon Bedrock，我们可以评估并选择每个查询类型的最佳模型，平衡答案质量、延迟和参与度。使用Amazon Bedrock的好处使我们的开发速度提高了6倍以上。使用多种模型使我们能够将对话分解成细粒度的部分。通过这样做，我们能够更有效地回答问题，并看到了显著的好处。在我们确定要使用的模型后，我们还采用混合方法，为模型提供恰当的上下文以有效地执行其任务。在某些情况下，我们可能已经拥有Rufus回答问题所需的上下文。例如，如果我们知道客户正在询问他们以前的订单，我们可以将他们的订单历史记录提供给模型的初始推理请求。这优化了我们需要进行的推理调用次数，同时也提供了更多的确定性，有助于避免下游错误。在其他情况下，我们可以将决定推迟给模型，当它认为需要更多信息时，它可以使用工具检索额外上下文。
我们发现，用适当的信息来“锚定”（grounding）模型非常重要。我们实现这一点的方法之一是使用Amazon Nova 网页锚定（Web Grounding），因为它可以通过与网页浏览器交互来检索和引用权威的互联网来源，从而显著减少答案缺陷并提高准确性和客户信任度。除了优化模型准确性外，我们还利用Amazon Bedrock的功能尽可能地减少延迟。通过使用提示词缓存（prompt caching）和并行工具调用，我们进一步降低了延迟。这些从模型响应到服务延迟的优化，意味着使用Rufus的客户完成购买的可能性要高出60%。
通过工具集成实现代理式功能
更重要的是，Amazon Bedrock架构支持代理式功能（agentic capabilities），这使得Rufus通过工具使用对购物者更有用。利用Bedrock上的模型，Rufus可以动态调用服务作为工具，以提供个性化、实时、准确的信息或代表用户采取行动。当客户询问Rufus有关产品可用性、定价或规格时，Rufus的作用远远超出了其内置知识。它会检索相关信息（例如您的订单历史记录），并在推理时使用集成工具来查询实时数据库、检查最新产品目录并访问实时数据。为了更具个性化，Rufus现在具有账户记忆，可以根据客户的个人购物活动来理解他们。Rufus可以利用您可能先前分享的信息（例如您喜欢的爱好，或先前提到的宠物）来提供更加个性化和有效的体验。
在构建这些代理式功能时，可能需要构建一个服务供您的代理互动以提高效率。例如，Rufus在产品详情页面上有一个价格历史记录功能，让客户可以即时查看历史定价，以确定他们是否获得了优惠。购物者可以在浏览时直接询问Rufus价格历史记录（例如：“这个商品在过去三十天内打折过吗？”），或者设置一个代理式价格提醒，以便在产品达到目标价格时收到通知（“当这些耳机降价30%时购买”）。通过自动购买（auto-buy）功能，Rufus可以在达到目标价格后的30分钟内代表您完成购买，并使用您的默认支付和配送详情完成订单。自动购买请求的有效期为六个月，目前使用此功能的客户平均每笔购买节省20%。代理本身可以在价格提醒和自动购买服务中创建持久记录，但系统随后使用传统软件来管理记录并相应地执行操作。模型、工具和服务的这种紧密集成，将Rufus转变为一个真正动态的个性化购物代理。
除了价格跟踪，Rufus还支持自然、对话式的重新订购。客户可以简单地说：“重新订购我们上周制作南瓜派所需的所有物品，”或“订购我昨天浏览的登山靴和手杖。” Rufus可以连接过去活动和当前意图之间的点，如果商品缺货，它可以建议替代品。Rufus使用代理式AI功能来自动将产品添加到购物车，以便快速审核和结账。在这些场景中，Rufus可以确定何时收集信息以提供更好的答案，或执行客户指示的操作。这些只是我们推出的众多代理式功能中的两个示例。
结果：亚马逊规模的AI驱动购物
通过使用Amazon Bedrock，Rufus展示了组织如何构建可扩展到服务数百万用户的复杂AI应用程序。灵活的模型选择、托管基础设施和代理式功能的结合，使亚马逊能够提供一个既智能又实用的购物助手，同时对准确性、延迟和成本保持严格的控制。如果您正在考虑自己的AI计划，Rufus展示了Bedrock在简化从AI实验到生产部署的旅程方面的潜力，使您能够专注于客户价值，而不是基础设施复杂性。我们鼓励您尝试Bedrock，并观察到与我们相同的益处，专注于您的代理式解决方案及其核心能力。
关于作者
James Park是亚马逊网络服务（AWS）的一名机器学习解决方案架构师专家。他与Amazon.com合作，在AWS上设计、构建和部署技术解决方案，对AI和机器学习有特别的兴趣。在业余时间，他喜欢探索新文化、新体验，并跟上最新技术趋势。
Shrikar Katti是亚马逊的一名首席技术项目经理（TPM）。他目前专注于推动一个大型AI产品的端到端交付、战略和跨组织协调，该产品正在改变亚马逊的购物体验，同时确保安全、可扩展性和卓越的运营。在业余时间，他喜欢下国际象棋和探索AI的最新进展。
Gaurang Sinkar是亚马逊的一名首席工程师。他最近的重点是扩展、性能工程和优化生成式AI解决方案。工作之余，他喜欢与家人共度时光、旅行、偶尔徒步旅行和打板球。
Sean Foo是亚马逊的一名工程师。他最近的重点是在亚马逊规模上构建低延迟客户体验和维护高可用系统。在业余时间，他喜欢和朋友一起玩视频游戏和棋盘游戏，以及四处逛逛。
Saurabh Trikande 是Amazon Bedrock和Amazon SageMaker推理的高级产品经理。他对与客户和合作伙伴合作充满热情，目标是实现AI民主化。他专注于部署复杂AI应用、多租户模型的推理、成本优化以及使生成式AI模型的部署更易于访问等核心挑战。在业余时间，Saurabh喜欢徒步旅行、学习创新技术、关注TechCrunch以及与家人共度时光。
Somu Perianayagam 是AWS的一名工程师，专注于Amazon DynamoDB和Amazon Bedrock的分布式系统。他构建了大规模、有弹性的架构，帮助客户在各区域实现一致的性能，简化其数据路径，并在海量规模上可靠运行。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区