目 录CONTENT

文章目录

从Lakehouse到数字心智:在Databricks上构建多智能体AI生态系统架构

Administrator
2025-10-17 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

📢 转载信息

原文链接:https://www.databricks.com/blog/lakehouse-digital-mind-architecting-multi-agent-ai-ecosystem-databricks

原文作者:Databricks


在当今的企业环境中,拥有一个统一的数据湖仓(Data Lakehouse)对于激活数据至关重要。借助湖仓,组织可以将一个被动的数据存储库转变为一个动态的智能引擎,它能够预判需求、自动化专业知识并驱动更明智的决策。在Edmunds,这一优先事项促成了Edmunds Mind的启动,这是我们在Databricks数据智能平台上直接构建复杂多智能体AI生态系统的倡议。

这场架构演变得益于汽车行业的关键时刻。三大趋势汇聚:

  • 大型语言模型(LLMs)作为强大的推理引擎的崛起
  • Databricks等平台的可扩展性和治理能力作为一个安全基础的成熟
  • 强大的智能体框架(Agentic Frameworks)在协调自动化方面的涌现。这些因素促成了几年前还难以想象的系统的实现。

这次转型不仅仅是增加另一个AI工具,更是从根本上重新设计我们的组织,使其能够作为AI原生实体运行。支撑这一智能核心的原则、组件和策略在以下架构蓝图中详细介绍。

“Databricks为我们提供了一个安全、受治理的基础,可以运行多个模型,如GPT-4o、Claude和Llama,并根据我们的需求切换提供商,同时控制成本。这种灵活性使我们能够更快地自动化评论审核并提高内容质量,从而让购车者更快地获得可信赖的见解。”—Gregory Rokita, Edmunds技术副总裁

从数据丰富走向洞察驱动

我们的愿景是从一个数据丰富的公司转变为一个洞察驱动的组织。我们利用AI来构建行业中最值得信赖、最个性化和最具预测性的购车体验。

这通过四个关键战略支柱得以实现:

  • 大规模激活数据: 从静态仪表板转向与数据的动态、对话式交互。
  • 自动化专业知识: 将领域专家的宝贵逻辑编码为可重用、自主的智能体。
  • 加速产品创新: 为我们的团队提供一套智能体工具包,用于构建下一代功能。
  • 优化内部运营: 通过自动化复杂的内部工作流程实现显著的效率提升。

我们愿景的核心是我们最显著的竞争优势:Edmunds数据护城河。这个强大的汽车数据基础由我们行业领先的二手车库存、最全面的专家评论集以及一流的定价智能构成,辅以广泛的消费者评论和新车列表。整个生态系统都在我们的Databricks环境中统一管理,形成了一个强大而统一的资产。Edmunds Mind就是我们为充分释放其潜力而构建的引擎。

深入了解数字智能体框架

数字智能体框架

Edmunds Mind的架构是一个分层的、认知的系统,专为复杂性、学习和规模化而设计,Databricks平台是其基础。

智能体层级:数字专家的组织

我们将系统设计成模仿一个高效的组织结构,使用分层结构来分解和委派任务。这与现代框架(如Databricks Agent Bricks)中的编排模式完美契合。

  • 主管智能体(Supervisor Agents): 战略领导者。它们执行长期规划、管理依赖关系,并编排复杂的多阶段任务。
  • 经理智能体(Manager Agents): 团队领导。它们协调一个专业智能体团队来完成一个特定的、定义明确的目标。
  • 工作者和专业智能体(Worker and Specialized Agents): 这些是提供专业知识的个体贡献者。它们是系统的中坚力量,包括不断增长的专家名录,例如知识助手(Knowledge Assistant)DataDave和各种精灵(Genies)

智能体间的通信由标准化协议控制,确保任务委托和数据交接是结构化、类型化和可审计的,这对于在规模化时保持可靠性至关重要。

该层级结构还设计了优雅的故障处理机制。当一个经理智能体确定其专业团队无法解决任务时,它会将整个任务上下文,包括失败的尝试记录在情景记忆中,上报给主管智能体。主管智能体随后可以采用不同的策略重新规划,或者更关键地,将此标记为需要人工干预以开发新能力的新问题。这使得系统具备鲁棒性,并成为一个学习工具,帮助我们识别其能力边界。

深入研究1:自动化数据丰富工作流程

历史上,解决车辆数据不准确的问题(例如车辆详情页上的颜色错误)是一个劳动密集型过程,需要多个团队进行手动协调。如今,Edmunds Mind AI生态系统几乎实时地自动化并解决了这些挑战。这种操作效率是通过我们集中的模型服务实现的,该服务将我们多样化的AI智能体能力整合到一个统一的环境中,并根据需求自动扩展。这种架构将我们的团队从运营开销中解放出来,使他们能够专注于快速为用户交付价值。

解决过程是通过一个受治理的多智能体工作流执行的。当用户或自动化监控程序标记出潜在的数据差异时,主管智能体立即对事件进行分类。它评估问题,将其路由到适当的专业团队,并通过Unity Catalog验证任务权限,以实现强大的数据治理。一个专用的经理智能体随后协调一系列专业工作者智能体来执行任务,包括VIN解码、图像检索、AI驱动的颜色分析以及最终的数据库更新。人类数据管理员仍然是关键审查环节的一部分,他们的重点从手动干预转向高价值的批准阶段。每一次交互和决策都被系统地记录下来,为持续学习和未来流程优化奠定了全面的基础。

这个例子说明了整个生态系统如何端到端地处理一个真实世界的数据质量和丰富化任务:

  • 事件触发: 用户投诉或自动化监控程序标记了车辆描述页面上潜在的数据质量问题(例如错误的车辆颜色)。
  • 分类与编排: 主管智能体摄取事件,创建一个可跟踪的任务,并根据预定义的业务规则评估其优先级。
  • 委派给经理: 主管智能体在确认访问和修改Unity Catalog中车辆数据的权限后,将任务委托给“车辆数据经理智能体”。
  • 协调任务执行: 经理智能体协调一系列专业工作者智能体来解决问题:一个VIN解码智能体、一个从我们的媒体库中提取照片的图像检索智能体、一个用于从图像中确定正确颜色的AI驱动颜色分析智能体,以及一个用于更新车辆配置数据库的数据校正智能体。
  • 人机循环审查: 在更改生效之前,经理智能体标记自动化更改,并通过Slack集成通知人类数据管理员进行最终验证。
  • 学习与关闭: 一旦管理员批准任务,主管智能体就将其标记为完成。整个交互——包括最终的人工批准——都被追踪并记录到长期记忆中,用于未来的学习和审计。

深入研究2:知识助手:实时答案,可信赖的品牌声音

过去客户需要浏览多个Edmunds仪表板或联系Edmunds支持以获取答案的地方,知识助手现在可以通过调用Edmunds所有数据的全貌,提供即时、对话式的响应。这个RAG智能体根据Edmunds的品牌声音进行调整,将专家和消费者评论、车辆规格、媒体和实时定价的见解编织在一起。结果是,客户获得了更快、更满意的交互体验,支持人员花费在处理基本请求上的时间减少了。

关键功能包括:

  • 品牌声音拟人化: 该智能体经过精心调优,以Edmunds客户几十年来所熟悉的生动、乐于助人且值得信赖的声音进行交流。
  • 实时数据综合: 在单个查询中,助手可以从我们分散的实时数据源中检索、综合和呈现信息,包括专家和消费者评论、车辆规格、转录的视频内容以及最新的定价和激励措施。
  • 高级RAG能力: 我们正在与Databricks合作,利用向量搜索(Vector Search)来拓展我们的RAG实现边界。我们专注于增强内容的近期性优先级和复杂的元数据过滤,以确保最相关和及时的信息始终优先显示。

深入研究3:DataDave的“生成与批判”工作流程

DataDave现在处理复杂的分析任务,这些任务过去依赖于耗时的手动工作。该智能体协调一个严格的工作流程,每个阶段都由一个专业智能体进行批判,以在最具挑战性的查询中实现95%的准确率。DataDave可以通过综合网站流量和人口统计数据,主动识别机会(例如,向Edmunds销售团队标记服务不足的经销商)。这使Edmunds的管理层有信心从报告“发生了什么”转向决定“我们接下来应该做什么”。

Triage, Planning, Code Generation, Execution, and Synthesis的五个阶段过程

内部工作流程是一个由分类、规划、代码生成、执行和综合组成的五阶段过程,其中一个专用的批判智能体验证每个阶段的输出。DataDave的真正威力不仅在于分析内部指标,更在于其能够综合我们的专有数据和广义世界知识,生成战略性建议。例如,通过关联Edmunds的网站流量数据与地理和人口统计数据,DataDave可以识别服务不足地区的经销商,并主动向我们的销售团队推荐它们为“唾手可得的成果”。

深入研究4:定价专业化

在Edmunds,我们遵循一个核心原则:价格不仅仅是一个数字;它是一个结论,需要背景和理由才能让人信服。利用我们在美国市场中提供最准确定价的声誉,我们的智能体架构旨在规模化地提供这种信心。

我们从将单一的“定价专家”演变为协调一致的专家团队的经验证明了这一原则。这个团队——由一个经理智能体协调,并包括如“真实市场价值智能体”(True Market Value Agent)、“折旧智能体”(Depreciation Agent)和“交易评级智能体”(Deal Rating Agent)等专家——提供的不仅仅是标价。最终输出是一个全面的、情境化的定价故事,解释了为什么一辆车的价值被这样确定。

这使我们的定价分析师的角色从手动数据聚合转变为战略监督和指导。通过利用Databricks Agent Bricks,我们的定价统计学家可以用有限的编码来配置这些分层智能体团队,极大地提高了他们的生产力并降低了维护开销。这使他们能够专注于真正重要的事情:数字背后的“为什么”。

认知核心:一个用于复合智能的架构

我们迈向真正智能AI生态系统的旅程始于一个实际挑战。在为业务分析部署像DataDave这样的专业智能体时,我们发现它们揭示了关键的、时间敏感的业务真相,但这些真相仍局限在其操作环境中。例如,一个智能体可能会检测到关键营销渠道的异常下降趋势,但这一重要见解需要有效地传达给其他实体——包括智能体和人类——以触发协调的响应。这凸显了一个基本需求:一个可以捕获这些新兴学习并使其可作为输入供整个智能体系统访问的共享记忆系统。我们设想了一个认知层,这里的知识可以积累、增长,并被利用以使我们整个生态系统变得越来越聪明。因此,我们最新的思考和设计如下:

  • 情景记忆(Episodic Memory)(“发生了什么”): 记录每一次智能体行动和观察的高保真日志,作为系统的真实依据。
  • 语义记忆(Semantic Memory)(“学到了什么”): 包含从情景事件中综合出的通用见解和成功策略的向量索引。这将是可操作知识的库。
  • 自动化记忆整合: 一个后台的“反思者”(Reflector)智能体会定期审查情景记忆,以识别并将关键学习内容整合到语义记忆中。
  • 分层记忆访问: 更高级别的智能体可以访问其下属的记忆,使经理智能体能够分析团队表现并优化未来策略。这个反馈循环是系统“反脆弱性”(antifragility)的核心;层级上报的每一次新颖失败不仅是一个需要解决的问题,更是一个训练整个生态系统的信号,使其变得越来越智能和有弹性。

实现:mem0 + Databricks

我们的实现将由Databricks Vector Search提供支持,使用Delta Sync Index,它完全兼容mem0接口。鉴于mem0与向量数据库交互,我们将通过在单个、强大的后端中存储情景记忆和语义记忆来实现创新。原始的、未总结的事件(“发生了什么”)和综合的学习(“学到了什么”)将作为不同的向量类型存在于同一个源Delta表中,然后无缝且自动地填充到Vector Search索引中。

这种统一的架构创造了一个高效的工作流程。反思者智能体可以查询索引以获取最近的情景条目,执行其综合,并将新的、通用的语义向量写回到源Delta表中。Delta Sync Index随后会自动摄取这些新学习的内容,使其可供查询。通过将源Delta表作为单一入口点,我们消除了数据管道的复杂性,并获得了真正智能的智能体系统所需的、可扩展、无服务器和低延迟的基础。

带有Edmunds Pulse的示例工作流程

  1. 记录: 'DataDave'智能体检测到销售异常并将其事件记录到其通过mem0 API访问的情景记忆中。此操作将一个新的向量条目写入我们的源Delta表。
  2. 综合: 反思者智能体处理此事件,生成一个通用见解(例如,“X产品在周末销量下降”),并将其转换为向量嵌入。
  3. 索引: 新的见解被写回源Delta表,但标记为综合学习。Databricks Vector Search自动同步此新条目,将其索引到语义记忆中。
  4. 交付: 最后,一个专用的Edmunds Pulse智能体持续监控语义记忆中的高优先级情报,将这一综合发现主动交付给人类利益相关者。借鉴ChatGPT Pulse发布的思路,该发布旨在提供一个更环境化、更具感知力的AI助手,我们的Edmunds Pulse将充当业务的实时“脉搏”,确保关键见解不仅被存储,而且被积极传达,以驱动及时和智能的行动。

数据和知识层:治理的真理基础

AI智能体依赖于其数据的质量。Edmunds数据层专为一致性、治理和灵活性而构建,Unity Catalog作为基石,确保所有信息保持准确和良好管理。

深入研究5:GraphQL数据访问和交互模式

Edmunds模型上下文协议(MCP)框架通过统一的GraphQL API网关,将AI智能体安全地连接到来自所有核心数据源的实时上下文,例如车辆规格、评论、库存和来自New Relic等系统的操作指标。这抽象了底层复杂性,并提供了一个强类型、自文档化的Schema。

系统不再让智能体或工程师应对碎片化数据、不匹配的Schema或缓慢的故障排除,而是支持三种主要的交互模式,每种模式都针对不同的用例进行了优化:

  • 动态Schema内省: 智能体可以通过内省GraphQL Schema本身来动态探索新的或不熟悉的查询。当客户提出一个独特的问题时——例如一辆车的价值是否受近期安全召回的影响——智能体可以即时发现新的数据类型并构建精确的查询来获取相关答案。这种灵活性使组织能够快速适应新的业务需求,而无需手动更改API。
  • 细粒度映射工具: 每个智能体工具都直接映射到特定的GraphQL查询或突变,用于常规操作。例如,更新车辆颜色就像提取VIN和新颜色一样简单,由智能体处理突变。这种方法提高了可靠性并减少了人工干预,简化了日常团队任务。
  • 持久化查询: 高流量、性能关键的功能(如实时库存仪表板)利用预先注册的查询来实现最大的效率。智能体发送一个轻量级的哈希和变量,系统立即返回结果,从而减少了带宽并增强了安全性。

通过一个单一的、强大的API层为AI智能体提供结构化的数据访问权限,Edmunds极大地提高了跨产品和支持部门的数据操作的速度、灵活性和可靠性。过去需要定制开发或跨团队调试的任务现在可以实时处理,使客户和内部团队能够受益于更丰富的见解和更敏捷的响应。

深入研究6:语义层和知识层

这一关键层作为原始数据与智能体理解之间的桥梁。它抽象了底层数据存储的复杂性。它用业务上下文丰富数据,确保智能体基于Edmunds宇宙中一致、受治理和可理解的视图进行操作。

  • Unity Catalog:治理骨干: 作为我们数据生态系统的核心,Unity Catalog为所有数据和AI资产提供了集中的治理、安全性和血缘关系。它确保了智能体访问的每一块数据都受到细粒度访问控制,并且其路径是完全可审计的,构成了安全合规AI平台不可或缺的基础。
  • 产品语义层:实时业务上下文: 这一层为智能体提供了一个核心产品实体(例如车辆、经销商、评论)的实时、面向对象的视图。关键在于,它的数据源直接来自为Edmunds网站提供支持的相同GraphQL Schema。这确保了绝对的一致性;当一个智能体讨论一个“车辆”时,它引用的是消费者在网站上看到的相同数据模型和业务逻辑,消除了我们外部产品和内部AI之间数据漂移的风险。
  • 分析语义层:KPI的单一事实来源: 这一层为所有业务绩效指标提供了一致且受信任的视图。它直接来源于我们经过策划的“指标视图”(Metric Views),这是为所有高管和运营仪表板提供数据的相同来源。这种对齐确保了当DataDave或其他智能体报告业务KPI(如会话流量、潜在客户或评估率)时,它们使用与我们既定的商业智能工具相同的定义和数据源,确保了组织内单一的事实来源。
  • Databricks Vector Search - RAG的引擎: 此组件是我们非结构化和半结构化数据的高性能检索引擎。通过将我们大量的评论、文章和转录内容转换为向量嵌入,我们使知识助手等智能体能够执行闪电般的语义搜索,检索最相关的上下文,以在检索增强生成(RAG)模式中回答用户查询。

从成本中心到价值引擎:衡量我们的AI投资回报率

一个有远见的架构的价值仅取决于其执行情况。我们的方法扎根于分阶段路线图,并坚定地致力于将我们的AI生态系统视为一个核心的、创造价值的引擎。我们通过将技术框架(涵盖可观测性、治理和伦理)与关键业务成果直接挂钩来实现这一点。我们的目标不仅仅是构建强大的AI;而是量化其对我们底线的影响

加速业务速度

我们构建了一个整体系统来衡量投资回报率的双方。在回报方面,我们的框架将AI性能直接与业务KPI挂钩。例如:

  • DataDave智能体在几分钟内提供复杂的、可操作的分析,而过去这需要人类Edmunds分析师花费数小时才能完成。这极大地加速了数据驱动的决策制定。
  • 我们的定价智能体即时响应查询,消除了数小时的手动研究,使我们的团队能够专注于战略性、高价值的工作。

虽然我们仍在量化对活动转化率等指标的精确影响,但该框架提供了绘制这些相关性所需的所有实时数据。

成本优化

我们通过AI网关(AI Gateway)实行明智的经济治理。高风险的智能体(如DataDave)被路由到我们最强大的模型以确保准确性,而例行任务则自动分配给更具成本效益的模型。这种模型分层策略使我们能够精确管理LLM和计算支出,确保每一分钱的投资都与它所创造的业务价值保持一致。

“Databricks使我们能够安全、规模化地为正确的任务运行正确的模型。这种灵活性为我们的智能体提供动力,并提供更智能的购车体验。” — Greg Rokita, Edmunds技术副总裁

组织赋能:赋能每一位员工

为了实现这一愿景,我们正在Edmunds内部培养创新文化。我们的目标是支持从完全自主任务到人机循环审查和完全协作式问题解决的全部人机交互范围。

为此,我们为工程师提供了一个强大的智能体SDK,并通过我们的Agent Bricks平台倡导“公民开发者”(Citizen Developer)运动。这项举措始于我们的全公司范围内的“AI Agents @ Edmunds”技术会议,并通过一个活跃的LLM智能体公会(Guild)进行培养,确保每位员工都拥有工具和支持,为我们由AI驱动的未来做出贡献。

前路漫漫:从主动智能到真正的自主性

我们成为真正的AI原生组织的旅程是一场马拉松,而不是短跑。“Edmunds Mind”架构是我们的蓝图,其下一阶段的演进是开发主动智能体,它们不仅能回答问题,还能预判业务需求。我们设想未来我们的智能体能够从实时数据流中识别市场机会,并在利益相关者提出请求之前主动提供战略见解。

最终,我们的路线图通向一个智能体可以自我优化的系统——提出新工具、改进批判机制,甚至建议架构改进。这标志着从一个我们仅仅操作的系统,过渡到一个真正的认知伙伴,将我们的角色从操作员转变为新智能劳动力的监督者、伦理学家和战略家。

了解更多关于Edmunds如何在Databricks的帮助下构建AI驱动的购车体验





🚀 想要体验更好更全面的AI调用?

欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,文档丰富,小白也可以简单操作。

0

评论区