介绍上下文检索（Contextual Retrieval）

原文链接: https://www.anthropic.com/engineering/contextual-retrieval 发布日期: 2024 年 9 月 19 日

在构建 RAG（检索增强生成）系统时，一个关键挑战是确保在需要时检索到正确的信息。传统的检索方法经常会错过关键上下文，导致 AI 系统给出不完整或不准确的答案。

本文介绍 Contextual Retrieval（上下文检索），这是一种改进 RAG 系统的技术，通过添加上下文来增强每个文档块，使检索更加准确。结合 Contextual Embeddings 和 Contextual BM25，我们将检索失败率降低了高达 67 %（从 5.7 % 降至 1.9 %）。

RAG 入门：扩展到更大的知识库

什么是 RAG？

检索增强生成（RAG）是一种技术，它通过从外部知识库检索相关信息来增强 LLM 的能力。这允许模型访问其训练数据之外的信息。

传统 RAG 的工作流程

1. 文档处理：将大型文档分割成较小的块
2. 向量化：为每个块创建嵌入向量
3. 存储：将向量存储在向量数据库中
4. 检索：当用户提问时，检索最相关的块
5. 生成：将检索到的块和问题一起发送给 LLM

传统 RAG 的问题

示例场景：

假设你有一个包含公司财务报告的知识库。一个文档块可能包含：

ACME 公司 2023 年第四季度收入为 $2.3M，
比 2023 年第三季度增长 15 %。