📢 转载信息
原文链接：https://machinelearningmastery.com/beyond-vector-search-5-next-gen-rag-retrieval-strategies/
原文作者：Jason Brownlee
超越向量搜索：5种下一代RAG检索策略深度解析
检索增强生成（RAG）架构已成为利用大型语言模型（LLM）处理私有或专业知识的基石。RAG系统的核心在于检索阶段，它负责从知识库中获取最相关的上下文片段，供LLM用于生成答案。尽管基于向量相似度的搜索（Vector Search）是当前的主流方法，但它并非万能，尤其是在处理复杂查询、需要多步推理或知识库结构复杂时。
本文将深入探讨超越传统向量搜索的5种下一代RAG检索策略，帮助您构建更强大、更精准的RAG系统。
为什么传统向量搜索不够用？
向量搜索依赖于将文本转化为密集向量（embeddings），并通过计算向量间的距离来衡量语义相似性。这种方法的局限性包括：
- 语义鸿沟（Semantic Gap）： 向量相似性不完全等同于逻辑相关性或可操作性。
- 上下文丢失： 仅检索片段可能遗漏关键的结构或元数据信息。
- 复杂关系处理： 难以处理需要跨多个文档或概念进行推理的复杂查询。
5种下一代RAG检索策略
1. 结构化检索（Structured Retrieval）
结构化检索旨在超越纯粹的文本匹配，利用知识库的底层结构（如数据库、知识图谱或文档结构）进行更精确的定位。
关键技术：
- 元数据过滤与混合搜索： 将向量搜索与基于标签、时间戳或文档类型的精确元数据过滤相结合。
- 知识图谱（KG）增强检索： 将文本转化为知识图谱中的实体和关系。查询被解析为图形查询（如Cypher），直接从图结构中提取结构化事实，再送给LLM。
- SQL/代码生成检索： 对于需要精确数据提取的查询，LLM生成SQL或Python代码，查询数据库或数据湖，检索结构化结果。
2. 层次化检索（Hierarchical Retrieval）
层次化检索通过在不同粒度级别上组织和检索信息，解决了单一文档片段检索的局限性。
关键技术：
- 摘要/父文档检索（Parent-Child Retrieval）： 索引时，创建文档的小片段（child chunks）和对应的大摘要或父文档（parent chunks）。检索时，首先搜索小片段，一旦找到高相关性的片段，就检索其父文档，提供更丰富的上下文。
- 文档摘要索引： 为每个文档或章节创建高质量的摘要嵌入。查询先与这些摘要进行匹配，缩小范围，然后再对选定文档的片段进行更精细的向量搜索。
3. 迭代式/多步检索（Iterative/Multi-Step Retrieval）
对于需要多个步骤推理或信息整合的复杂问题，迭代式检索允许RAG系统像人类一样，分解问题并逐步收集信息。
关键技术：
- 查询重写/扩展（Query Rewriting）： 使用LLM将原始查询转换为一组更优化的、可供检索的子查询。
- 迭代细化（Iterative Refinement）： 系统执行初步检索，将结果反馈给LLM，LLM生成新的、更明确的查询（或指示缺失的信息），系统再次检索，直到满意为止（类似于ReAct模式）。
- 自我反思（Self-Correction）： 检索结果生成初步答案后，系统使用另一个提示（Prompt）评估答案的完整性和准确性，并根据评估结果指示进行二次检索。
4. 基于图谱的推理检索（Graph-Based Reasoning Retrieval）
这种方法侧重于理解文档间的内在联系，而不仅仅是内容的相似性，它通常结合了文档摘要和知识图谱技术。
关键技术：
- 文档依赖图： 构建一个图，节点是文档片段，边代表引用、共现或逻辑依赖关系。检索时，系统不仅找相似的节点，还会沿着边探索相关联的节点。
- 关系嵌入： 存储实体和关系（例如，“A引用了B”，“C是D的实例”），允许查询直接指向特定的关系路径。
5. 混合与融合（Hybrid and Fusion Retrieval）
混合检索旨在结合不同检索方法的优点，特别是稀疏（关键词）和密集（向量）检索的优势。
关键技术：
- BM25与向量融合： 将传统的关键词搜索（如BM25）的结果与向量搜索的结果进行融合。这对于包含特定术语、产品代码或专有名词的查询尤其有效。
- 重排序（Re-ranking）： 使用一个更强大、更耗费资源的交叉编码器（Cross-Encoder）模型，对初步检索到的前N个文档片段进行精确的打分和重新排序，确保排在最前面的才是真正最相关的上下文。
总结与展望
RAG的未来在于从简单的“查找相似文本”转变为“智能理解和推理”。向量搜索仍是基础，但结合结构化过滤、层次化管理、迭代查询、图谱推理和混合融合，我们可以构建出能够处理更复杂、更细致业务需求的下一代RAG系统。选择哪种策略取决于您的知识库结构、查询的复杂性以及对响应速度的要求。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区