📢 转载信息
原文作者：David Gildea, Tom Nijs, Ayushi Gupta, Gauhar Bains, Marius Moisescu, Ahsan Ali, Saeideh Shahrokh, Sandy Farr, and Govindarajan Varadan
本文由Druva的David Gildea和Tom Nijs联合撰写。
生成式AI正在改变企业与其客户互动的方式，并彻底革新用于复杂IT运营的对话式界面。作为领先的数据安全解决方案提供商，Druva正处于这场变革的前沿。Druva与亚马逊云科技（AWS）合作，正在开发一款尖端的、由生成式AI驱动的多智能体副驾驶（multi-agent copilot），旨在重新定义数据安全和网络弹性领域的客户体验。
该创新解决方案基于Amazon Bedrock并利用先进的大型语言模型（LLMs），将为Druva的客户提供一个直观的、对话式的界面，以访问其整个产品套件中的数据管理、安全洞察和运营支持。通过利用生成式AI和智能体AI（agentic AI）的力量，Druva旨在简化运营、提高客户满意度，并增强其数据安全和网络弹性解决方案的整体价值主张。
在本文中，我们将研究这款AI驱动的副驾驶背后的技术架构，探讨它如何处理自然语言查询、在复杂工作流程中保持上下文，并提供安全、准确的响应，从而简化数据保护操作。
挑战与机遇
Druva希望有效地服务于那些正在超越传统基于查询的AI，转向智能体系统（agentic systems），并以更大的速度、简便性和信心来满足其复杂数据管理和安全需求的企业。
全面的数据安全需要跟踪大量的海量数据和指标，以识别潜在的网络威胁。随着威胁的不断演变，客户很难及时了解组织数据中可能出现的新的数据异常，而错过任何威胁信号都可能导致敏感信息被未经授权地访问。例如，一家管理着跨多个区域的500多台服务器的全球金融服务公司，目前在备份失败时需要花费数小时手动检查数十个系统的日志。有了AI驱动的副驾驶，他们可以简单地提问：“昨晚我的备份为什么失败了？”并立即收到一份分析报告，显示是某个特定的策略更新导致了欧洲数据中心的冲突，并附带了分步的修复指南，将调查时间从几小时缩短到几分钟。该解决方案不仅减少了支持请求的数量并加快了解决时间，还为最终用户释放了更高的运营效率。
通过重新构想用户与系统的交互方式——从AI驱动的工作流程到更智能的自动化——Druva看到了提供更无缝客户体验的明确机会，从而加强客户满意度、忠诚度和长期成功。
Druva在实施生成式AI驱动的多智能体副驾驶方面看到的主要机会包括：
- 简化的用户体验：通过提供自然语言界面，副驾驶可以简化复杂的数据保护任务，并帮助用户快速获取所需信息。
- 智能故障排除：副驾驶可以利用AI能力分析来自各种来源的数据，识别备份失败的根本原因，并提供个性化的解决方案建议。
- 简化的策略管理：多智能体副驾驶可以指导用户完成创建、修改和实施数据保护策略的过程，减少人为错误的潜在可能并提高合规性。
- 主动支持：通过持续监控数据保护环境，副驾驶可以主动识别潜在问题，并提供指导以帮助防止故障或优化性能。
- 可扩展和高效的运营：AI驱动的解决方案可以同时处理大量的客户查询和任务，减轻Druva支持团队的负担，使他们能够专注于更复杂和更具战略性的举措。
解决方案概述
为Druva副驾驶提出的解决方案利用了一种复杂的架构，它将Amazon Bedrock（包括Amazon Bedrock知识库）、LLMs和动态API选择过程结合起来，以提供智能高效的用户体验。在下图，我们展示了端到端的架构和各种子组件。
系统的核心是监督智能体（supervisor agent），它充当着多智能体系统的中央协调组件。该智能体负责监督整个对话流程，将任务委托给专业化的子智能体，并维护各个组件之间无缝的通信。
用户通过用户界面与监督智能体进行交互，提交与数据保护、备份管理和故障排除相关的自然语言查询。监督智能体分析用户的输入，并根据查询的性质将请求路由到适当的子智能体。
数据智能体（data agent）负责通过与GET API交互来从Druva的系统中检索相关信息。该智能体获取诸如预定的备份作业、备份状态和其他相关详细信息等数据，以便为用户提供准确和最新的信息。
帮助智能体（help agent）通过提供最佳实践、分步说明和故障排除技巧来协助用户。该智能体利用一个广泛的知识库，其中包括详细的API文档、用户手册和常见问题解答，以向用户提供特定于上下文的帮助。
当用户需要执行关键操作时，例如启动备份作业或修改数据保护策略，操作智能体（action agent）就会发挥作用。该智能体与POST API端点交互以执行必要的*操作*，确保用户需求得到及时和准确的满足。
为了确保多智能体副驾驶使用最合适的API和参数，该解决方案采用了动态API选择过程。在下图，我们重点介绍了用于实现动态API选择的各种AWS服务，数据智能体和操作智能体都配备了此功能。Bedrock知识库包含有关可用API、其功能和最佳使用模式的全面信息。收到输入查询后，我们使用语义搜索来检索最相关的K个API。这种语义搜索能力使系统能够适应每个用户请求的具体上下文，从而增强了副驾驶的准确性、效率和可扩展性。一旦确定了适当的API，智能体就会提示LLM来解析最相关的K个API，并最终确定API选择以及所需的参数。此步骤确保副驾驶完全有能力有效地执行用户的请求。
最后，调用选定的API，多智能体副驾驶执行所需的操作或检索请求的信息。用户通过用户界面接收到清晰简洁的响应，以及相关的建议或指导。
在整个交互过程中，用户可以在副驾驶执行关键操作之前，通过用户反馈节点提供附加信息或明确的批准。通过这种人在回路（human-in-the-loop）的方法，系统以必要的安全措施运行，并保持用户对敏感操作的控制权。
评估
Druva的生成式AI驱动的多智能体副驾驶的评估过程侧重于评估系统的每个关键组件的性能和有效性。通过对动态API选择、单个智能体的隔离测试以及端到端功能等各个组件进行全面测试，该副驾驶能够为用户提供准确、可靠和高效的结果。
评估方法：
- 单元测试：对每个组件（单个智能体、数据提取、API选择）进行隔离测试，以验证其功能、性能和错误处理能力。
- 集成测试：执行测试以验证多智能体副驾驶各个组件之间的无缝集成和通信，保持数据流和控制流的完整性。
- 系统测试：在完整系统上执行端到端测试，模拟真实世界用户场景和工作流程，以评估整体功能、性能和用户体验。
评估结果
为正确的任务选择正确的模型对系统的性能至关重要。动态工具选择代表了系统中最重要的部分之一——调用正确的API对于端到端解决方案的成功至关重要。一次错误的API调用都会导致获取错误的数据，从而在整个多智能体系统中引发错误的结果。为了优化动态工具选择组件，我们对各种Nova和Anthropic模型进行了测试和基准测试，并使用Sonnet 3.7创建了基准真值。
研究结果表明，即使是像Nova Lite和Haiku 3这样较小的模型，也能每次都正确选择API。然而，这些较小的模型在参数解析方面表现不佳，例如，根据输入问题以正确的参数调用API。当考虑到参数解析的准确性时，整体API选择准确率下降到：Nova Micro为81%，Nova Lite为88%，Nova Pro为93%。Haiku 3、Haiku 3.5和Sonnet 3.5的性能相似，范围在91%到92%之间。Nova Pro在准确性和延迟之间提供了最佳的权衡，平均响应时间仅略超过一秒。相比之下，Sonnet 3.5的延迟为八秒，尽管这可能归因于Sonnet 3.5的输出更冗长，平均生成291个token，而Nova Pro仅生成86个token。可以通过优化提示来使Sonnet 3.5的输出更加简洁，从而减少延迟。
对于真实场景的端到端测试，聘请熟悉该系统的人类主题专家评估员来根据解决方案的完整性、准确性和相关性来评估性能至关重要。在初始开发阶段的11个具有挑战性的问题中，系统在这些维度上的平均得分达到了3.3分（满分5分）。考虑到评估是在开发的早期阶段进行的，这代表了稳健的性能，为未来的改进奠定了坚实的基础。
通过专注于评估每个关键组件并进行严格的端到端测试，Druva确保了其生成式AI驱动的多智能体副驾驶符合准确性、可靠性和效率的最高标准。从该评估过程中获得的见解指导了副驾驶的持续改进和优化。
“Druva正处于利用先进AI技术的最前沿，以彻底改变组织保护和管理其关键数据的方式。我们的生成式AI驱动的多智能体副驾驶证明了我们致力于提供创新的解决方案，以简化复杂流程并提升客户体验。通过与AWS生成式AI创新中心合作，我们正在踏上一段变革之旅，为我们的客户创造一个交互式、个性化和高效的端到端体验。我们很高兴能够驾驭Amazon Bedrock的力量以及我们专有的数据，以继续重塑数据安全和网络弹性的未来。”——David Gildea，Druva生成式AI副总裁
结论
Druva的生成式AI驱动的多智能体副驾驶展示了结合结构化和非结构化数据源来创建下一代虚拟副驾驶的巨大潜力。这种创新方法通过将长达数小时的手动调查转变为即时的AI驱动对话洞察，使Druva区别于传统的数数据保护供应商，其中90%的常规数据保护任务可以通过自然语言交互执行，从根本上重新定义了数据安全领域的客户期望。对于数据安全和保护领域的组织而言，这项技术能够实现更高效的运营、增强的客户参与度和数据驱动的决策制定。副驾驶提供的见解和智能使Druva的利益相关者——包括客户、支持团队、合作伙伴和高管——能够更快地做出明智决策，将数据安全问题的平均解决时间减少高达70%，并将备份故障排除时间从几小时缩短到几分钟。尽管此项目专注于数据保护行业，但其潜在的原理和方法可以应用于各个领域。通过仔细的设计、测试和持续改进，任何行业的组织都可以受益于AI驱动的副驾驶，这些副驾驶能够对他们的数据、文档和内容进行上下文理解，从而提供智能和个性化的体验。
此实现利用了Amazon Bedrock AgentCore Runtime和Amazon Bedrock AgentCore Gateway，以提供强大的智能体编排和管理功能。这种方法有潜力通过可定制的智能体提供智能自动化和数据搜索功能，将应用程序的用户交互转变为更自然、高效和有效的方式。对于有兴趣实施类似功能的用户，请了解Amazon Bedrock Agents、Amazon Bedrock Knowledge Bases以及作为完全托管的AWS解决方案的Amazon Bedrock AgentCore。
关于作者
David Gildea 拥有超过25年的云自动化和新兴技术经验，David领导了数据管理和云基础设施的变革项目。作为CloudRanger的创始人和前首席执行官，他开创了优化云运营的创新解决方案，后来该公司被Druva收购。目前，David在首席技术官办公室领导Labs团队，负责领导全公司范围内生成式AI举措的研发工作，包括Dru Copilot、Dru Investigate和Amazon Q等项目。他的专业知识涵盖技术研究、商业规划和产品开发，使他成为云技术和生成式AI领域的杰出人物。
Tom Nijs 是Druva的一名经验丰富的后端和AI工程师，致力于学习和分享知识。作为Druva Labs团队的首席架构师，他将这种热情倾注于开发尖端解决方案，领导Dru Copilot、Dru Investigate和Dru AI Labs等项目。Tom的核心重点是优化系统和利用AI的力量，致力于帮助团队和开发人员将突破性的想法变为现实。
Gauhar Bains 是AWS生成式AI创新中心的深度学习架构师，负责为企业客户设计和交付创新的GenAI解决方案。他对利用尖端AI技术充满热情，Gauhar专注于开发智能体AI应用，并在各个行业实施负责任的AI实践。
Ayushi Gupta 是AWS的高级技术客户经理，与组织合作构建最佳的云解决方案。她专注于确保业务关键型应用可靠运行，同时平衡性能、安全性和成本效益。Ayushi对GenAI创新充满热情，她帮助客户利用能够带来可衡量业务价值的云技术，同时保持稳健的数据保护和合规标准。
Marius Moisescu 是AWS生成式AI创新中心的机器学习工程师。他与客户合作开发智能体应用。他对深度研究智能体和多智能体架构的评估非常感兴趣。
Ahsan Ali 是亚马逊生成式AI创新中心的高级应用科学家，他与来自不同行业垂直领域的客户合作，利用生成式AI解决他们紧迫且昂贵的问题。
Sandy Farr 是AWS生成式AI创新中心的应用科学经理，他领导着一个由科学家、深度学习架构师和软件工程师组成的团队，为AWS客户交付创新的GenAI解决方案。Sandy拥有物理学博士学位，在为大型组织开发AI/ML、NLP和GenAI解决方案方面拥有十多年的经验。
Govindarajan Varadan 是亚马逊网络服务（AWS）硅谷的解决方案架构团队经理。他与AWS客户合作，通过大规模创新性地应用AI来帮助他们实现业务目标。
Saeideh Shahrokh Esfahani 是亚马逊生成式AI创新中心的应用科学家，她专注于将尖端AI技术转化为解决现实世界挑战的实用解决方案。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区