Skip to content

RAG 检索增强:从文档到可用知识库 ​

本篇要点:读完能把「答得不对」拆成检索、排序、生成三层分别定位,并给知识库配上可复现的召回评估与索引一致性检查。前置要求:《MCP 协议:让模型安全接入业务系统》已经把 MCP Server 接进来了,你知道工具返回的内容最终会进模型上下文。

为什么需要它 ​

上线第二周,产品同学拿着一份 50 条问题的表来对账:40 条答得不错,10 条要么答非所问,要么直接说「文档里没有」。自建评估集当时显示 recall@10(前 10 条里有没有标准答案)是 60%。第一反应是「模型不行,换个大点的」,这个判断后来被证明是错的:那 40% 的失败里有七成是检索根本没把对的段落捞上来,模型连看都没看到。

先把结论放前面:RAG(Retrieval-Augmented Generation,检索增强生成)的质量上限由候选池决定,重排只能改变顺序,不能创造内容。候选池里没有的东西,后面接什么模型都没用。所以排障顺序必须是「先看池子里有没有,再看排序对不对,最后才看生成」,反过来做就是浪费一周。

核心概念 ​

概念一:RAG 是两段,不是一段 ​

检索段把用户问题变成查询,从知识库里取回 k 条候选片段;生成段把候选拼进上下文,让模型基于材料作答。两段的失败长得完全不一样:检索段失败是「材料没给到」,表现是答非所问或说「没有」;生成段失败是「材料给了但答歪了」,表现是编造、张冠李戴。

反例是把 RAG 理解成「把文档塞进一个很长的提示」。窗口够大时它确实能跑,但每次请求都付全文的 token,文档一多也没有位置放。RAG 的做法是把「全量」换成「按需取一小片」。

概念二:三层度量,先定位再动手 ​

把「答得不对」当成一个整体去调参,是排障里最贵的错误。度量必须拆成三层,每层一个指标,如表 5-1。

层级指标怎么算基线变化
检索层命中率 hit@k标准段落是否出现在前 k 条里63% → 92%
排序层上下文精确率前 k 条里相关条目占比(RAGAS 的 Context Precision 口径)0.41 → 0.78
生成层忠实度回答里的论断有多少能被检索到的上下文支持(RAGAS 的 Faithfulness 口径)0.86,几乎没动

表 5-1 三层指标各自回答一个问题:有没有捞到、排得准不准、有没有照材料说

表里 63% 这个基线是重标之后的数字,比最初那份 60% 高一点——差额就来自下面说的标注错误。

第三行很关键:忠实度一开始就不差。这说明模型没有瞎编,是检索没给对材料。由此得到一条判断规则——忠实度低而命中率高,问题在生成;命中率低而忠实度高,问题在检索。

动手之前还要先验评估集本身。50 条逐条看过之后,有 6 条是标注错的:用户问「出差住宿标准是多少」,标注指向财务制度 4.2 节,但答案其实分在两处,4.2 节写金额标准,附件 B 写城市分级。检索捞到了附件 B 却被判为未命中。标注口径错了,指标就会把好的检索判成坏的。定位流程如图 5-1,它是一条单行道,往回走没有意义。

图 5-1 从答案不对倒推坏在哪一层,三条支路最后都落回索引

概念三:稀疏检索与稠密检索,前提是分词真的跑了 ​

BM25 是稀疏检索(sparse retrieval):按词频和逆文档频率打分,每篇文档表示成「哪些词出现了、权重多少」。它擅长型号、条款号、专有名词这类精确字符串。向量检索是稠密检索(dense retrieval):把整段文本压成一个向量(embedding,向量化)再比语义距离,擅长换一种说法也能找到。两路混着用已经是标配,但前提是分词(tokenization)真的发生了。

反例就在这里。rank-bm25 的 BM25Okapi(corpus) 在没传 tokenizer 时完全不做分词,它把 corpus 当成「已经分好词的列表的列表」来统计词频。中文按空格切成 [d.split() for d in corpus],整段话变成一个 token,索引里每篇文档只有一个词,对任何查询都打 0 分;把原文列表直接传进去,它会逐字符遍历,文档长度变成字数。两种错都不会报错,只会让这一路检索静默失效。

现在更省事的做法是用同时输出 dense 和 sparse 的模型(例如 BGE-M3),省掉自己维护分词器和词典。保留 BM25 的理由是可解释性:出了问题能一眼看出是哪个词命中的。

概念四:切分先修结构,再调参数 ​

切分(chunking)把文档切成带重叠(overlap)的片段。512 token、overlap 50 是常见起点,真正出问题的是两类文档。

一类是表格。财务制度里有一张「差旅住宿标准表」,按城市分级乘职级给金额,固定长度切分会把表头和行切断,捞回来的半张表只有金额没有城市列。这类必须整块保留,超长才拆行并复制表头。

另一类是长条款。一份 80 页的采购管理办法,每条都用「本条」「前述」这种指代,切完之后单条读起来不知所指。上下文增强(contextual retrieval,给每个片段拼一段模型生成的文档级摘要)有效但贵,折中成「文档标题 + 文章路径」拼在片段前面,成本几乎为零。

参数不必网格搜索,256、512、1024 三档足够。对以制度和操作手册为主的语料,512 最稳:256 让条款类问题丢上下文,1024 让无关内容混进来拉低精确率。换一批语料(代码库、工单系统)这个结论就不适用,得重测。

概念五:候选池、融合、重排是三件事 ​

重排(rerank)用交叉编码器(cross-encoder)把查询和候选逐对打分,比向量点积准,也贵得多,所以只对候选池做。只上重排不扩池,等于在 60% 的池子上做精致排序。

融合两路结果别用分数加权相加:BM25 的分数量和余弦相似度差着好几个数量级,加权前要归一化,而归一化本身会随查询分布漂移。改用倒数排名融合(RRF,Reciprocal Rank Fusion),只看名次,不看原始分数。

还有一个实操细节:重排模型给的是相关性分数,不是概率,不同批次之间不一定可比。拿它做固定阈值过滤(低于 0.3 就丢),会让某些查询全军覆没,因为整批分数本来就偏低。改成按与首条的相对差距截断,稳定性好很多。

动手实践 ​

步骤 1:让分词真的跑起来 ​

先看两种错法的实际效果,两种都跑一遍就知道为什么调权重没用。

python
from rank_bm25 import BM25Okapi

docs = ["差旅住宿标准一线城市", "会议室预订流程"]

# 错法一:按空格切,中文整段变成一个 token
b1 = BM25Okapi([d.split() for d in docs])
print(b1.doc_freqs)
print(b1.get_scores("差旅标准".split()))

# 错法二:把原文列表直接传进去,它逐字符遍历
b2 = BM25Okapi(docs)
print([len(d) for d in b2.doc_freqs])

运行结果:

[{'差旅住宿标准一线城市': 1}, {'会议室预订流程': 1}]
[0. 0.]
[10, 7]

第二行 [0. 0.] 就是静默失效的样子:查询打不中任何文档,也不报错,看起来像「BM25 这一路没贡献」。第三行 [10, 7] 是字符数不是词数,说明它把每篇文档当成了十个、七个「词」。

对的做法是显式中文分词,并保留数字和型号里的连字符:

python
from rank_bm25 import BM25Okapi
import jieba

corpus = ["差旅住宿标准一线城市", "会议室预订流程", "差旅报销需在30日内提交"]

def tok(s: str) -> list[str]:
    return [w for w in jieba.cut_for_search(s) if w.strip()]

bm25 = BM25Okapi([tok(d) for d in corpus])
print(bm25.get_scores(tok("差旅住宿标准 一线城市")))

运行结果:

[2.1527, 0.0, 0.1004]

第一条明显最高,第三条几乎没有反应。修完之后 BM25 单独就能捞回 8% 的失败样本,全是「型号、条款号、专有名词」类查询——向量模型压缩语义时会把这些细节抹平。

步骤 2:给索引加一致性检查 ​

某次把 embedding 从 text-embedding-3-small 换到 text-embedding-3-large,新索引建好了,增量同步脚本没改,还在写旧模型。结果索引里新老向量混着,维度也不一样,脚本里有一段 .tolist()[:1536] 的截断逻辑,把 3072 维硬切成 1536 维。

系统没有任何报错。余弦相似度照样算得出来,只是毫无意义。表现是「某些文档永远检索不到」,而且集中在最近三个月新增的那批。

python
from collections import Counter

def audit(collection, sample=2000):
    """按 embed_model_id 与维度分组,混合比例超阈值就报警。"""
    rows = collection.get(limit=sample, include=["metadatas"])
    groups = Counter((m.get("embed_model_id"), m.get("dim")) for m in rows["metadatas"])
    total = sum(groups.values())
    for (model_id, dim), n in groups.most_common():
        share = n / total
        flag = "ALERT" if share < 0.95 else "ok"
        print(f"{flag} {model_id} dim={dim} share={share:.2%}")

audit(client.get_collection("handbook"))   # 换成你的向量库客户端

预期输出:

ALERT text-embedding-3-small dim=1536 share=71.40%
ALERT text-embedding-3-large dim=3072 share=28.60%

两行都不到 95%,直接说明索引正在混写。修法有三步:给每个 chunk 补 embed_model_id 与 dim 字段、检索时按模型分组、混合比例超阈值告警。换 embedding 模型是一次全量重索引,不是增量,这条要写进运维手册。

步骤 3:扩池,再融合,最后重排 ​

顺序不能反:先把候选池从 top-10 放大到 top-50,再用 RRF 融合两路,最后重排取前 8 进上下文。

python
import os, cohere

def rrf(rank_lists, k=60, top_n=50):
    """只看名次,不看原始分数,省掉归一化。"""
    score = {}
    for lst in rank_lists:
        for rank, doc_id in enumerate(lst, start=1):
            score[doc_id] = score.get(doc_id, 0.0) + 1.0 / (k + rank)
    return sorted(score, key=score.get, reverse=True)[:top_n]

pool = rrf([bm25_ranked, vector_ranked], top_n=50)

# 具体型号与价格两三个月换一次档位,从环境变量取,落地前查官方文档
rerank = cohere.ClientV2(os.environ["COHERE_API_KEY"]).rerank(
    model=os.environ["RERANK_MODEL"], query=q,
    documents=[docs[i] for i in pool], top_n=8)
print([(r.index, round(r.relevance_score, 3)) for r in rerank.results])

预期输出:

[(3, 0.914), (17, 0.882), (0, 0.731), (42, 0.688), (8, 0.655), (11, 0.612), (25, 0.604), (5, 0.598)]

改完的结果:上下文精确率从 0.41 到 0.78,命中率只从 84% 动到 88%。第二组数字才是重点——那 16% 压根不在候选池里,重排救不回没捞到的。扩池的代价是延迟:top-50 重排一次在这个量级上多了 180 毫秒左右,还能接受;超过 100 条之后延迟肉眼可见,收益迅速递减。

常见误解 ​

误解一:答得不准,换更强的生成模型就行。忠实度 0.86 已经说明模型在照材料说话,问题在材料。生成模型的提升只在「材料里有答案」时生效;候选池没有的,换模型只是让回答更流畅地编。

误解二:上了重排就等于修好了排序。重排的输入是候选池,池子本身漏掉了段落,排序再精致也只是把 60% 里的顺序理顺。判断方法很直接:扩池前后各测一次命中率,如果命中率没动,说明失败不在排序层。

误解三:top_k 越大越好,多给点总没坏处。试过 top-100 直接塞进上下文,命中率涨了两个点,精确率掉回来,回答开始掺入相邻条款的内容,用户反而更难信任。检索的 token 预算是预算,不是免费额度。

小结 ​

  • RAG 的质量上限在候选池,重排只能改顺序。排障顺序是检索 → 排序 → 生成,不能反。
  • 三层指标各管一件事:hit@k 看有没有捞到,上下文精确率看排得准不准,忠实度看有没有照材料说。忠实度高而命中率低,就是检索的问题。
  • BM25 必须先分词。rank-bm25 默认不做任何分词,中文按空格切会让这一路静默失效。
  • embedding 换版本是全量重索引。索引里混两套向量不会报错,余弦相似度照样算得出来,只有一致性检查能发现。
  • 切分先修结构(表格整块、条款补文章路径),再在 256 / 512 / 1024 里选,别拿网格搜索当排障。

相关主题 ​

材料备齐了,还有三个问题没答案:先查什么、查不到怎么办、什么时候停下来问人。《Agent 编排:ReAct、状态机与人在回路》讲 Agent 编排——把检索、工具调用、判断和人工审批串成一条能恢复的流程,用 ReAct 循环起步,再用图编排把状态和失败分支显式画出来。