MS-RAG
多源增强检索增强生成框架(Multi-Source Enhanced Retrieval-Augmented Generation Framework,MS-RAG)
本页是框架参考。想先了解索引和 agentic 检索循环的"为什么",请先读设计文档:
- 知识库索引原理——一篇文档如何变得可被检索:结构索引 / 知识图谱索引(含代码图谱) / 向量索引 / 关键词索引。
- Agentic RAG 对话原理——一个问题如何通过 agent 驱动的检索循环变成带引用的回答。
简介
大语言模型(LLM)虽然强大,但只能基于训练数据回答。当用户需要最新或领域专属信息——比如内部文档、自建数据库、最新报告——单靠 LLM 就不够了。
检索增强生成(RAG) 通过从外部知识源检索相关信息、作为上下文喂给 LLM 再生成回答来填补这一缺口,确保回答基于真实数据而非记忆中的模式。
DB-GPT 实现的 多源 RAG(MS-RAG) 框架远超基础文档问答:它支持多种知识源(文档、URL、数据库、知识图谱、git 仓库)、多种索引策略,并与 DB-GPT 的 agent 和工作流生态深度集成。知识库对话由 agentic RAG 循环完成——agent 可以改写问题、多次检索、融合并重排结果、产出带引用的回答——而不是单次"检索-生成"。
架构
两个阶段:索引与对话
索引(文档同步时执行) 对话(聊天时执行)
───────────────────── ──────────────────────
知识源 → 切分 → 索引 用户问题
│ │
一次切分, ▼
多种索引: Agentic RAG 循环
• 向量 • 关键词 (改写问题 → 检索,可能多轮
• 知识图谱(三元组、 → 融合 + 重排 → 拼 prompt)
• 文档-段落、Markdown 标题、 │
• 代码 AST) ▼
LLM 生成带引用的回答
索引与对话解耦:索引在文档同步时执行一次,对话时只检索,不重新索引。
索引流水线
构建索引是一条 ETL 流水线——一次"抽取"+ 一次"切分"喂给所有启用的索引;只有各索引自己的"转换"和"加载"不同。
抽取 Extract 转换 Transform 加载 Load
───────────── ────────────────────── ───────────────────────
Knowledge.load() → ChunkManager.split() → 持久化进索引存储
解析数据源 → + 各索引自己的转换: · EmbeddingAssembler → 向量库
原始文本 · embedding (向量) · BM25Assembler → Elasticsearch
· 分词 (关键词/BM25) · graph store + RepoGraphBuilder
· 三元组 / 标题 / → 图存储 / 代码图谱
代码 AST (知识图谱) · SummaryAssembler → 向量库
· 摘要 (summary) · DBSchemaAssembler → 向量库
附上元数据(标题路径、
chunk_id …)供检索/引用
- 抽取(Extract) ——
KnowledgeFactory把每个数据源(文件/URL/文本/git 仓库)路由到对应的Knowledge实现,解析成原始文本(Knowledge.load())。 - 转换(Transform) ——
ChunkManager.split()按策略(大小/页/段落/分隔符/Markdown 标题)切分;每个索引再各自转换——embedding、BM25 分词、LLM 三元组/标题/代码 AST 抽取、摘要、schema embedding——并附上元数据(Header1…Header6、chunk_id…),后续检索和引用都靠它。 - 加载(Load) —— 按索引的驱动器把转换结果持久化 进索引存储:向量/关键词/摘要/schema 索引分别由
EmbeddingAssembler/BM25Assembler/SummaryAssembler/DBSchemaAssembler写入;知识图谱与代码图谱由图存储(aload_document)+RepoGraphBuilder构建。(结构索引不加载——它在检索时按本阶段写入的HeaderN元数据重建。) - 检索与生成 —— 即下文的 agentic RAG 对话。
索引 ETL 流水线
BaseAssembler 定义了统一的"抽取 → 转换 → 加载"骨架,各索引插入各自的转换+加载。一次抽取 + 一次切分喂给所有启用的索引——只有转换+加载随索引不同而不同。
Knowledge.load() → ChunkManager.split() → Assembler.persist() → Assembler.as_retriever()
# 抽取 # 转换 # 加载 # 检索(对话时)
| 索引 | 转换 | 加载驱动(实现) | 索引存储 |
|---|---|---|---|
| 向量 | chunk → embedding | EmbeddingAssembler.persist() | 向量库(Chroma、Milvus …) |
| 关键词 | chunk → BM25 分词 | BM25Assembler.persist() | Elasticsearch |
| 知识图谱 | chunk → LLM 三元组 + 文档/标题/代码 AST 图 | 图存储 aload_document + RepoGraphBuilder | TuGraph / Neo4j / Memgraph |
| 摘要 | chunk → LLM 摘要 → embedding | SummaryAssembler.persist() | 向量库 |
| 库表 schema | schema → embedding | DBSchemaAssembler.persist() | 向量库 |
| 代码图谱 | 代码 → tree-sitter AST | RepoGraphBuilder → CodeGraphStore | 代码图谱表 |
| 结构 | (无——检索时才建) | 检索时按 HeaderN 元数据建 DocTreeIndex | — |
各 assembler 是向量/关键词/摘要/schema 索引的加载阶段驱动器;知识图谱与代码图谱分别由图存储和
RepoGraphBuilder构建。它们消费的都是抽取+转换阶段产出的同一批 chunk——所以切分质量是所有索引的共同地基。
索引
DB-GPT 通过 index_methods(字符串列表)按知识空间选择要建哪些索引。三种索引方法是持久化的;结构索引和代码图谱是叠加在它们之上的两种形态。所有索引都作用在同一批 chunk 上,所以切分质量决定检索质量。
| 索引 | index_methods 值 | 同步时建? | 能给你什么 |
|---|---|---|---|
| 向量 | VectorStore | 是 | embedding + 余弦的语义相似度排序 |
| 关键词 | FullText | 是 | 精确词 / BM25 命中 |
| 知识图谱 | KnowledgeGraph | 是 | 对实体、文档结构、标题、代码做图遍历 |
| 结构 | (检索时建树) | 否,查询时按 chunk 的 HeaderN 元数据重建 | Markdown 标题树 / 父子章节导航 |
| 代码图谱 | (叠加在 KnowledgeGraph;也用于 GIT_REPO 空间) | 是 | 代码文件 AST,产出 function/class 节点 + defines 边 |
知识图谱索引不是一张图,而是一组图:LLM 抽取的三元组图、文档-段落结构图、Markdown 标题层级图,以及(代码/git 仓库场景下的)代码 AST 图。它们共用一条构建链路。细节与代码图谱的 tree-sitter 解析见知识库索引原理。
对话:agentic RAG
用户在知识库上提问时,DB-GPT 不是单次"检索-生成",而是由 agent 驱动循环: