知识库与文档:让 AI 读懂你的资料
本篇要点:你能把散落的资料整理成 AI 能准确检索的结构,并且能量化地判断检索好不好用。 前置文章:《AI 写作工作流:从大纲到成稿》讲的是单篇稿子怎么写,这一章处理"一堆文档怎么被反复检索",重点从写得好换成找得到。
一、为什么需要它
问:"报销超标了怎么办?"
答:"超标需要提前申请。"
就这一句。一个 40 人的团队在 2026 年 5 月把 600 多份文档扔进内部知识库,三周后使用率掉到接近零。他们以为是模型不行,让我演示一次,我问了上面这个问题。
而制度原文里,这一节有完整的处理流程:什么额度要谁批、超标后补单的时限、跨月怎么算。这些内容确实在库里,只是它们分散在三个文件里,每个文件的标题都叫"财务制度补充说明(三)"。
问题不在模型,在文档没有结构。同一句话在原文里靠上下文成立,被切成片段之后,上下文就没了。
这一章要做的事:把"资料"变成"可检索的结构"。这两者的差别,不是格式,是每一条内容都能被单独读懂。
二、核心概念
2.1 结构化的四层
一份能被 AI 有效检索的文档,四层信息都要在。
| 层 | 内容 | 缺了会怎样 |
|---|---|---|
| 文件层 | 文件名、目录位置 | 检索时找不到它,或找到一堆同名文件 |
| 元数据层 | 标题、日期、作者、适用对象、版本 | 无法按时间和适用范围过滤,答案混入过期内容 |
| 文章层 | 有层级的标题(H1/H2/H3) | 切片切在句子中间,每片都读不懂 |
| 片段层 | 每段自成一体,不依赖"如上所述" | 单独被检索出来时信息不完整 |
表 7-1 文档结构化的四层与各自缺失的后果
四层里最容易补的是前两层,最值钱的是第四层。第四层的判定标准很朴素:把这一段单独复制出来发给一个没读过全文的同事,他能不能看懂。
反例:"如上所述,超标部分需在 15 日内补单。"这段被单独检索出来,"上述"指什么、"超标部分"是多少,全丢了。
改法:"报销金额超过部门月度预算的部分,需在费用发生后 15 日内补交审批单。"
2.2 分块:不是越小越好
分块(chunking)指把长文档切成检索单元。切法直接决定检索质量。
三种常见切法:
- 按固定字数切:实现最简单,最容易把一句话切断。
- 按段落切:尊重语义,但段落长度差异大。
- 按标题层级切:最贴合文档逻辑,前提是文档有规范的标题。
实践中的组合是"按标题切,标题下超长再按段落切,每块前后各留一句上下文"。
块太小的后果是丢上下文,太大的后果是检索精度下降:你搜"补单时限",捞回来一整章 3000 字,模型要在里面找那一句,容易找错。经验区间是每块 200–800 字,带标题路径。
2.3 元数据:用来过滤,不是用来好看
元数据(metadata)在检索里的作用是先过滤再匹配。
"报销超标怎么办"这个问题,如果库里有 2023 版和 2026 版两份制度,不做过滤就会混答。加了 version 和 effective_date 两个字段,检索前先筛掉失效版本,准确率立刻不一样。
四个字段性价比最高:title、updated、audience(给谁看的)、status(现行/作废/草稿)。前两个用于时效,后两个用于适用范围。
反例:给每份文档都打 20 个标签,结果没有一个人维护,标签慢慢失真。字段少而必填,好过字段多而随意。
2.4 检索质量:两个可测的指标
搭完知识库,怎么知道好不好用?两个指标够用。
命中率:你准备的 30 个真实问题里,有多少个能在前 5 条结果里找到正确的那一块。这个数字低于 70%,先别接生成,先修检索。
答错率:在命中率及格的前提下,答案和原文矛盾的占比。这个数字高,通常是生成环节的问题(比如把两块内容混着说),不是检索的问题。
两个指标要分开测。混在一起测,你分不清该改哪一层。
2.5 三档搭建方案
按投入从低到高,三档各有适用场景。
| 档位 | 做法 | 投入 | 适合 |
|---|---|---|---|
| 一档 | 笔记软件 + 手工把资料贴进对话 | 零 | 资料量 < 100 篇,问题不重复 |
| 二档 | 本地工具链(如 AnythingLLM、Dify 本地部署、Obsidian + 检索插件) | 半天到两天 | 100–2000 篇,含内部资料 |
| 三档 | 自建 RAG 服务,自己控分块与重排 | 一到两周 | > 2000 篇,或对精度有硬要求 |
表 7-2 知识库三档方案与投入
大部分人在一档就够用,硬上三档的结果是搭了两周、用了三次。判断标准不是资料多少,是同一类问题会不会被反复问。反复问才值得建库。
2.6 权限:知识库最容易出事的地方
知识库把原本分散在各处的文件集中到一个入口,等于把访问控制也集中了。原来财务制度只在财务共享盘里,现在进了全员可搜的库。
三个必查:入库时有没有按原始权限分区(至少分"全员/部门/个人"三层);检索时有没有在结果层做权限过滤,而不只是入口层;删除文件后索引有没有同步删掉。第三条最容易被忽略——源文件删了,切片还在库里,谁都搜得到。
图 7-1 知识库从整理到上线的完整路径,唯一的返工口在命中率测试
如图 7-1 所示,命中率测试是一个必须回到前面的环节。跳过它直接接生成,你会把检索问题误判成模型问题,然后换模型,然后再失败一次。
三、动手实践
任务:把 600 份内部文档整理成一个能答"制度类问题"的知识库。
3.1 先做结构体检
不急着切块,先看现有文档的结构状况。
# audit.py —— 文档结构体检:四层缺哪层
import re
from pathlib import Path
META_KEYS = ["title", "updated", "audience", "status"]
REFER = re.compile(r"如上所述|上述|见上文|如前|该条|此项")
rows = []
for p in sorted(Path("kb").rglob("*.md")):
t = p.read_text(encoding="utf-8")
fm = re.match(r"^---\n(.*?)\n---\n", t, re.S)
keys = set(re.findall(r"^(\w+):", fm.group(1), re.M)) if fm else set()
h2 = len(re.findall(r"^## ", t, re.M))
refs = len(REFER.findall(t))
rows.append((p.name, len(keys & set(META_KEYS)), h2, refs))
print(f"{'文件':<34s}{'元数据':>8s}{'H2':>5s}{'指代词':>7s}")
for name, mk, h2, refs in rows[:6]:
print(f"{name:<34s}{mk}/4{'':>4s}{h2:>5d}{refs:>7d}")
tot = len(rows)
print(f"\n共 {tot} 份,元数据不全 {sum(1 for r in rows if r[1] < 4)} 份,"
f"无 H2 {sum(1 for r in rows if r[2] == 0)} 份,"
f"含指代词 {sum(1 for r in rows if r[3] > 0)} 份")运行结果:
文件 元数据 H2 指代词
2023-财务制度补充说明(三).md 1/4 0 17
2026-报销流程v2.md 4/4 6 0
差旅标准(副本).md 0/4 0 23
员工手册-节选.md 2/4 3 8
共 600 份,元数据不全 431 份,无 H2 118 份,含指代词 389 份三个数字说明一切:431 份元数据不全、118 份没有二级标题、389 份含指代词。这三类加起来,切片之后谁也读不懂。
先修哪一类?按影响排序:无 H2 的最致命(没法按标题切),其次是指代词(切出来读不懂),最后是元数据(影响过滤)。
3.2 批量补元数据,人工改标题
能自动化的自动化,不能的列清单。
# 从文件名和正文首行推断元数据,生成待人工确认的清单
python3 - <<'PY'
from pathlib import Path
import re, datetime
out = []
for p in sorted(Path("kb").rglob("*.md")):
t = p.read_text(encoding="utf-8")
if t.startswith("---"):
continue
first_h1 = re.search(r"^# (.+)$", t, re.M)
year = re.search(r"(20\d{2})", p.name)
out.append(f"{p}\t{first_h1.group(1) if first_h1 else p.stem}\t{year.group(1) + '-01-01' if year else '?'}")
Path("meta_todo.tsv").write_text("\n".join(out), encoding="utf-8")
print(f"待补 {len(out)} 份,已写入 meta_todo.tsv")
PY运行结果:
待补 431 份,已写入 meta_todo.tsv
(前 3 行)
kb/财务/2023-财务制度补充说明(三).md 财务制度补充说明(三) 2023-01-01
kb/财务/差旅标准(副本).md 差旅标准 ?
kb/人事/员工手册-节选.md 员工手册 ?? 的数量是关键:那 118 份没有年份的文件,必须人工补。文件名里没有年份,说明当初命名就随意,这类文档往往内容也最旧,优先复核是否已作废。
3.3 建立 30 个测试问题
这是整章最值钱的一步。没有测试集,你无法判断改动是变好还是变坏。
# eval/questions.yaml —— 30 个真实问题,每个标出期望命中的文件与要点
- q: 报销超标了怎么办
expect_file: 2026-报销流程v2.md
must_contain: [15 日内, 补交审批单]
- q: 出差住宿一线城市上限多少
expect_file: 差旅标准.md
must_contain: [一线城市, 每晚]
- q: 年假可以跨年吗
expect_file: 员工手册.md
must_contain: [跨年, 顺延]预期输出(跑一遍测试,得到基线):
题库 30 条
命中前 5 条:21/30 = 70.0%
答案含 must_contain 全部要点:17/30 = 56.7%
失败集中在:财务类 6 条(文件重名)、人事类 4 条(元数据缺失)70% 的命中率是及格线边缘。失败集中在两类上,且都能对应到 3.1 节体检查出的问题——这就是为什么先体检再改,改完能立刻验证有没有效果。
3.4 调优:按失败类型对症
不同失败原因,改法完全不同。
| 失败表现 | 原因 | 改法 |
|---|---|---|
| 正确答案根本没出现 | 分块切断了语义 | 改按标题切,块内保留标题路径 |
| 正确答案排在第 8 条 | 缺少同义词,问法与原文用词不一致 | 加同义词表或加一层重排 |
| 捞回了旧版本 | 元数据缺失 | 补 version/status,检索前过滤 |
| 捞对了但答混了 | 两块内容被拼在一起 | 强制生成时标注出处,只允许引用一块 |
表 7-3 四类检索失败的对应改法
第三行是最容易误判的。答混了看起来像模型不会总结,实际是它同时拿到了新旧两版,无法判断哪个有效。
四、常见误解
很多人以为知识库效果取决于模型。实际上大部分失败在检索,不在生成。判断方法很简单:把命中的原文片段贴给模型,让它只做总结,看答对没有。答对了就说明问题在上游。
很多人以为文档越全越好。实际上失效文档混在里面,比没有更糟。一份 2023 年的制度如果不标作废,它和 2026 年版在检索里权重相同,混答是必然的。
很多人以为建库是一次性工作。实际上文档在变、问题在变。每月抽 10 条真实问题回归,比上线时调两周更有用,因为前者能发现漂移。
五、小结
《AI 写作工作流:从大纲到成稿》处理的是「一篇稿子怎么写」,这一章处理「几百篇怎么被找出来」。前者靠结构,后者也靠结构,只是结构从段落级换成了文件级。
- 四层结构:文件、元数据、文章、片段。片段层最值钱,判定标准是"单独拿出来能不能读懂"。
- 分块按标题切,超长再按段落,200–800 字,保留标题路径。太小丢上下文,太大降精度。
- 元数据用来过滤不用来好看。四个必填:title、updated、audience、status。
- 两个指标分开测:命中率(检索层)和答错率(生成层)。命中率不到 70% 先别接生成。
- 三档方案按"问题是否反复出现"选,不按资料量选。
- 权限三查:分区入库、结果层过滤、删除同步。第三条最容易被忘。
六、相关文章
知识库处理的是文字,接下来这一类数据长得完全不一样:表格。表格里的错不是"读不懂",是"算错了"——而 AI 算错的时候,语气和算对时一模一样。相关文章讲自然语言转 SQL 的可靠用法、透视与清洗,以及怎么验证它给的数对不对。
继续阅读:[《AI 做数据分析:表格、SQL 与图表》 AI 做数据分析:表格、SQL 与图表](/guide/ai-tools/ai-data-analysis.html)