📢 转载信息
原文链接:https://machinelearningmastery.com/vector-databases-vs-graph-rag-for-agent-memory-when-to-use-which/
原文作者:Matthew Mayo
在本文中,您将了解向量数据库和图 RAG 作为 AI 代理记忆架构之间有何不同,以及何时每种方法更适合。
我们将涵盖的主题包括:
- 向量数据库如何存储和检索语义上相似的非结构化信息。
- 图 RAG 如何表示实体和关系以实现精确的多跳检索。
- 如何在这两种方法之间进行选择,或将它们结合到混合代理记忆架构中。
有了这些,让我们直接开始。
向量数据库与图 RAG 在代理记忆中的对比:何时使用哪种方法
作者提供图片
引言
AI 代理需要长效记忆才能在复杂的多步工作流中真正有用。没有记忆的代理本质上是一个无状态函数,每次交互都会重置其上下文。随着我们向管理持久性任务的自主系统发展(例如跟踪项目架构的编码助手或编译持续文献综述的研究代理),如何存储、检索和更新上下文的问题变得至关重要。
目前,该任务的行业标准是向量数据库,它使用密集嵌入进行语义搜索。然而,随着对更复杂推理的需求不断增长,图 RAG(一种结合了知识图谱和大型语言模型 (LLM) 的架构)作为一种结构化记忆架构正受到关注。
乍一看,向量数据库非常适合广泛的相似性匹配和非结构化数据检索,而图 RAG 则在上下文窗口受限以及需要多跳关系、事实准确性和复杂分层结构时表现出色。这种区别突显了向量数据库专注于灵活匹配,而图 RAG 则能够通过显式关系进行推理,并在更严格的约束下保持准确性。
为了阐明它们各自的角色,本文探讨了这两种方法在代理记忆方面的基础理论、实际优势和局限性。通过这样做,它提供了一个实用的框架来指导部署系统或系统组合的选择。
向量数据库:语义代理记忆的基础
向量数据库将记忆表示为高维空间中的密集数学向量或嵌入。嵌入模型将文本、图像或其他数据映射到浮点数组,其中两个向量之间的几何距离对应于它们的语义相似性。
AI 代理主要使用这种方法来存储非结构化文本。一个常见的用例是存储对话历史,允许代理通过在其记忆库中搜索语义上相关的过去交互来回忆用户之前提出的问题。代理还利用向量存储,根据用户提示的隐含意义检索相关的文档、 API 文档或代码片段,这比依赖精确的关键字匹配要强大得多。
向量数据库是代理记忆的有力选择。它们提供快速搜索,即使跨越数十亿个向量。开发人员也发现它们比结构化数据库更容易设置。要集成向量存储,您需要拆分文本、生成嵌入并索引结果。这些数据库还能很好地处理模糊匹配,容忍拼写错误和释义,而无需严格的查询。
但语义搜索在高级代理记忆方面存在局限性。向量数据库通常无法遵循多步逻辑。例如,如果代理需要找到实体 A 和实体 C 之间的联系,但只有显示 A 连接到 B 且 B 连接到 C 的数据,那么简单的相似性搜索可能会错过重要信息。
这些数据库在检索大量文本或处理嘈杂结果时也存在困难。对于密集、相互连接的事实(从软件依赖到公司组织结构图),它们可能会返回相关但不相关的信息。这可能会用不太有用的数据充斥代理的上下文窗口。
图 RAG:结构化上下文和关系记忆
图 RAG 通过结合知识图谱和 LLM 来解决语义搜索的局限性。在此范式中,记忆被结构化为离散的实体,表示为节点(例如,一个人、一个公司或一项技术),它们之间的显式关系表示为边(例如,“在…工作”或“使用…”)。
使用图 RAG 的代理会创建和更新结构化的世界模型。当它们收集新信息时,它们会提取实体和关系并将它们添加到图中。在搜索记忆时,它们会遵循显式路径来检索确切的上下文。
图 RAG 的主要优势在于其精度。由于检索遵循显式关系而非仅仅语义相似性,因此错误风险较低。如果图中不存在某个关系,代理无法仅凭图本身推断出来。
图 RAG 在复杂推理方面表现出色,是回答结构化问题的理想选择。要查找批准预算的经理的下属,您需要遍历组织和批准链 — 这是一种简单的图遍历,但对于向量搜索来说是一项艰巨的任务。可解释性是另一个主要优势。检索路径是清晰、可审计的节点和边序列,而不是不透明的相似性分数。这对于需要合规性和透明度的企业应用很重要。
缺点是,图 RAG 引入了显著的实现复杂性。它需要强大的实体提取管道来将原始文本解析为节点和边,这通常需要精心调整的提示、规则或专用模型。开发人员还必须设计和维护本体或模式,这可能很僵化,并且随着遇到新领域而难以演变。冷启动问题也很突出:与向量数据库(在嵌入文本后即可使用)不同,知识图谱在能够回答复杂查询之前需要大量的前期工作来填充。
比较框架:何时使用哪种方法
在为 AI 代理构建记忆架构时,请记住,向量数据库非常擅长处理非结构化、高维数据,并且非常适合相似性搜索,而图 RAG 在表示实体和显式关系(当这些关系至关重要时)方面具有优势。选择应由数据的固有结构和预期的查询模式驱动。
向量数据库非常适合纯粹的非结构化数据 — 聊天记录、通用文档或由原始文本构建的庞大知识库。当查询意图是探索广泛的主题时,它们表现出色,例如“查找与 X 相似的概念”或“我们讨论过关于主题 Y 的哪些内容?” 从项目管理角度来看,它们设置成本低,并提供良好的总体准确性,使其成为早期原型和通用助手的默认选择。
相反,图 RAG 更适用于具有内在结构或半结构化关系的数据,例如财务记录、代码库依赖关系或复杂的法律文件。当查询需要精确的分类答案时,它是一种合适的架构,例如“X 与 Y 具体有什么关系?”或“此特定组件的所有依赖关系是什么?” 图 RAG 系统的较高设置成本和持续维护开销,通过其在向量搜索会产生幻觉、过度泛化或失败的特定连接上提供高精度来证明是合理的。
然而,高级代理记忆的未来不在于选择其中之一,而在于混合架构。领先的代理系统越来越多地结合这两种方法。一种常见的方法是使用向量数据库进行初始检索步骤,进行语义搜索以在庞大的知识图谱中定位最相关的条目节点。一旦确定了这些入口点,系统就会转向图遍历,提取与这些节点连接的精确关系上下文。这种混合管道将向量嵌入的广泛、模糊的召回能力与图遍历的严格、确定性精度相结合。
结论
由于其易于部署和强大的语义匹配能力,向量数据库仍然是通用代理记忆最实用的起点。对于从客户支持机器人到基本编码助手等许多应用程序,它们提供了足够的上下文检索。
但是,随着我们朝着能够处理企业级工作流的自主代理迈进,这些代理必须对复杂依赖关系进行推理、确保事实准确性并解释其逻辑,图 RAG 成为了关键的解锁因素。
开发人员最好采取分层方法:以向量数据库开始代理记忆,用于基本的对话基础。随着代理的推理需求增长并接近语义搜索的实际极限,选择性地引入知识图谱来组织高价值实体和核心操作关系。
🚀 想要体验更好更全面的AI调用?
欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,文档丰富,小白也可以简单操作。
评论区