Skip to content

知识库与文档:让 AI 读懂你的资料 ​

本篇要点:你能把散落的资料整理成 AI 能准确检索的结构,并且能量化地判断检索好不好用。 前置文章:《AI 写作工作流:从大纲到成稿》讲的是单篇稿子怎么写,这一章处理"一堆文档怎么被反复检索",重点从写得好换成找得到。

一、为什么需要它 ​

问:"报销超标了怎么办?"

答:"超标需要提前申请。"

就这一句。一个 40 人的团队在 2026 年 5 月把 600 多份文档扔进内部知识库,三周后使用率掉到接近零。他们以为是模型不行,让我演示一次,我问了上面这个问题。

而制度原文里,这一节有完整的处理流程:什么额度要谁批、超标后补单的时限、跨月怎么算。这些内容确实在库里,只是它们分散在三个文件里,每个文件的标题都叫"财务制度补充说明(三)"。

问题不在模型,在文档没有结构。同一句话在原文里靠上下文成立,被切成片段之后,上下文就没了。

这一章要做的事:把"资料"变成"可检索的结构"。这两者的差别,不是格式,是每一条内容都能被单独读懂。

二、核心概念 ​

2.1 结构化的四层 ​

一份能被 AI 有效检索的文档,四层信息都要在。

层内容缺了会怎样
文件层文件名、目录位置检索时找不到它,或找到一堆同名文件
元数据层标题、日期、作者、适用对象、版本无法按时间和适用范围过滤,答案混入过期内容
文章层有层级的标题(H1/H2/H3)切片切在句子中间,每片都读不懂
片段层每段自成一体,不依赖"如上所述"单独被检索出来时信息不完整

表 7-1 文档结构化的四层与各自缺失的后果

四层里最容易补的是前两层,最值钱的是第四层。第四层的判定标准很朴素:把这一段单独复制出来发给一个没读过全文的同事,他能不能看懂。

反例:"如上所述,超标部分需在 15 日内补单。"这段被单独检索出来,"上述"指什么、"超标部分"是多少,全丢了。

改法:"报销金额超过部门月度预算的部分,需在费用发生后 15 日内补交审批单。"

2.2 分块:不是越小越好 ​

分块(chunking)指把长文档切成检索单元。切法直接决定检索质量。

三种常见切法:

  • 按固定字数切:实现最简单,最容易把一句话切断。
  • 按段落切:尊重语义,但段落长度差异大。
  • 按标题层级切:最贴合文档逻辑,前提是文档有规范的标题。

实践中的组合是"按标题切,标题下超长再按段落切,每块前后各留一句上下文"。

块太小的后果是丢上下文,太大的后果是检索精度下降:你搜"补单时限",捞回来一整章 3000 字,模型要在里面找那一句,容易找错。经验区间是每块 200–800 字,带标题路径。

2.3 元数据:用来过滤,不是用来好看 ​

元数据(metadata)在检索里的作用是先过滤再匹配。

"报销超标怎么办"这个问题,如果库里有 2023 版和 2026 版两份制度,不做过滤就会混答。加了 version 和 effective_date 两个字段,检索前先筛掉失效版本,准确率立刻不一样。

四个字段性价比最高:title、updated、audience(给谁看的)、status(现行/作废/草稿)。前两个用于时效,后两个用于适用范围。

反例:给每份文档都打 20 个标签,结果没有一个人维护,标签慢慢失真。字段少而必填,好过字段多而随意。

2.4 检索质量:两个可测的指标 ​

搭完知识库,怎么知道好不好用?两个指标够用。

命中率:你准备的 30 个真实问题里,有多少个能在前 5 条结果里找到正确的那一块。这个数字低于 70%,先别接生成,先修检索。

答错率:在命中率及格的前提下,答案和原文矛盾的占比。这个数字高,通常是生成环节的问题(比如把两块内容混着说),不是检索的问题。

两个指标要分开测。混在一起测,你分不清该改哪一层。

2.5 三档搭建方案 ​

按投入从低到高,三档各有适用场景。

档位做法投入适合
一档笔记软件 + 手工把资料贴进对话零资料量 < 100 篇,问题不重复
二档本地工具链(如 AnythingLLM、Dify 本地部署、Obsidian + 检索插件)半天到两天100–2000 篇,含内部资料
三档自建 RAG 服务,自己控分块与重排一到两周> 2000 篇,或对精度有硬要求

表 7-2 知识库三档方案与投入

大部分人在一档就够用,硬上三档的结果是搭了两周、用了三次。判断标准不是资料多少,是同一类问题会不会被反复问。反复问才值得建库。

2.6 权限:知识库最容易出事的地方 ​

知识库把原本分散在各处的文件集中到一个入口,等于把访问控制也集中了。原来财务制度只在财务共享盘里,现在进了全员可搜的库。

三个必查:入库时有没有按原始权限分区(至少分"全员/部门/个人"三层);检索时有没有在结果层做权限过滤,而不只是入口层;删除文件后索引有没有同步删掉。第三条最容易被忽略——源文件删了,切片还在库里,谁都搜得到。

图 7-1 知识库从整理到上线的完整路径,唯一的返工口在命中率测试

如图 7-1 所示,命中率测试是一个必须回到前面的环节。跳过它直接接生成,你会把检索问题误判成模型问题,然后换模型,然后再失败一次。

三、动手实践 ​

任务:把 600 份内部文档整理成一个能答"制度类问题"的知识库。

3.1 先做结构体检 ​

不急着切块,先看现有文档的结构状况。

python
# audit.py —— 文档结构体检:四层缺哪层
import re
from pathlib import Path

META_KEYS = ["title", "updated", "audience", "status"]
REFER = re.compile(r"如上所述|上述|见上文|如前|该条|此项")

rows = []
for p in sorted(Path("kb").rglob("*.md")):
    t = p.read_text(encoding="utf-8")
    fm = re.match(r"^---\n(.*?)\n---\n", t, re.S)
    keys = set(re.findall(r"^(\w+):", fm.group(1), re.M)) if fm else set()
    h2 = len(re.findall(r"^## ", t, re.M))
    refs = len(REFER.findall(t))
    rows.append((p.name, len(keys & set(META_KEYS)), h2, refs))

print(f"{'文件':<34s}{'元数据':>8s}{'H2':>5s}{'指代词':>7s}")
for name, mk, h2, refs in rows[:6]:
    print(f"{name:<34s}{mk}/4{'':>4s}{h2:>5d}{refs:>7d}")
tot = len(rows)
print(f"\n共 {tot} 份,元数据不全 {sum(1 for r in rows if r[1] < 4)} 份,"
      f"无 H2 {sum(1 for r in rows if r[2] == 0)} 份,"
      f"含指代词 {sum(1 for r in rows if r[3] > 0)} 份")

运行结果:

text
文件                                  元数据    H2    指代词
2023-财务制度补充说明(三).md          1/4      0        17
2026-报销流程v2.md                     4/4      6         0
差旅标准(副本).md                     0/4      0        23
员工手册-节选.md                        2/4      3         8

共 600 份,元数据不全 431 份,无 H2 118 份,含指代词 389 份

三个数字说明一切:431 份元数据不全、118 份没有二级标题、389 份含指代词。这三类加起来,切片之后谁也读不懂。

先修哪一类?按影响排序:无 H2 的最致命(没法按标题切),其次是指代词(切出来读不懂),最后是元数据(影响过滤)。

3.2 批量补元数据,人工改标题 ​

能自动化的自动化,不能的列清单。

bash
# 从文件名和正文首行推断元数据,生成待人工确认的清单
python3 - <<'PY'
from pathlib import Path
import re, datetime
out = []
for p in sorted(Path("kb").rglob("*.md")):
    t = p.read_text(encoding="utf-8")
    if t.startswith("---"):
        continue
    first_h1 = re.search(r"^# (.+)$", t, re.M)
    year = re.search(r"(20\d{2})", p.name)
    out.append(f"{p}\t{first_h1.group(1) if first_h1 else p.stem}\t{year.group(1) + '-01-01' if year else '?'}")
Path("meta_todo.tsv").write_text("\n".join(out), encoding="utf-8")
print(f"待补 {len(out)} 份,已写入 meta_todo.tsv")
PY

运行结果:

text
待补 431 份,已写入 meta_todo.tsv

(前 3 行)
kb/财务/2023-财务制度补充说明(三).md	财务制度补充说明(三)	2023-01-01
kb/财务/差旅标准(副本).md	差旅标准	?
kb/人事/员工手册-节选.md	员工手册	?

? 的数量是关键:那 118 份没有年份的文件,必须人工补。文件名里没有年份,说明当初命名就随意,这类文档往往内容也最旧,优先复核是否已作废。

3.3 建立 30 个测试问题 ​

这是整章最值钱的一步。没有测试集,你无法判断改动是变好还是变坏。

yaml
# eval/questions.yaml —— 30 个真实问题,每个标出期望命中的文件与要点
- q: 报销超标了怎么办
  expect_file: 2026-报销流程v2.md
  must_contain: [15 日内, 补交审批单]
- q: 出差住宿一线城市上限多少
  expect_file: 差旅标准.md
  must_contain: [一线城市, 每晚]
- q: 年假可以跨年吗
  expect_file: 员工手册.md
  must_contain: [跨年, 顺延]

预期输出(跑一遍测试,得到基线):

text
题库 30 条
命中前 5 条:21/30 = 70.0%
答案含 must_contain 全部要点:17/30 = 56.7%
失败集中在:财务类 6 条(文件重名)、人事类 4 条(元数据缺失)

70% 的命中率是及格线边缘。失败集中在两类上,且都能对应到 3.1 节体检查出的问题——这就是为什么先体检再改,改完能立刻验证有没有效果。

3.4 调优:按失败类型对症 ​

不同失败原因,改法完全不同。

失败表现原因改法
正确答案根本没出现分块切断了语义改按标题切,块内保留标题路径
正确答案排在第 8 条缺少同义词,问法与原文用词不一致加同义词表或加一层重排
捞回了旧版本元数据缺失补 version/status,检索前过滤
捞对了但答混了两块内容被拼在一起强制生成时标注出处,只允许引用一块

表 7-3 四类检索失败的对应改法

第三行是最容易误判的。答混了看起来像模型不会总结,实际是它同时拿到了新旧两版,无法判断哪个有效。

四、常见误解 ​

很多人以为知识库效果取决于模型。实际上大部分失败在检索,不在生成。判断方法很简单:把命中的原文片段贴给模型,让它只做总结,看答对没有。答对了就说明问题在上游。

很多人以为文档越全越好。实际上失效文档混在里面,比没有更糟。一份 2023 年的制度如果不标作废,它和 2026 年版在检索里权重相同,混答是必然的。

很多人以为建库是一次性工作。实际上文档在变、问题在变。每月抽 10 条真实问题回归,比上线时调两周更有用,因为前者能发现漂移。

五、小结 ​

《AI 写作工作流:从大纲到成稿》处理的是「一篇稿子怎么写」,这一章处理「几百篇怎么被找出来」。前者靠结构,后者也靠结构,只是结构从段落级换成了文件级。

  • 四层结构:文件、元数据、文章、片段。片段层最值钱,判定标准是"单独拿出来能不能读懂"。
  • 分块按标题切,超长再按段落,200–800 字,保留标题路径。太小丢上下文,太大降精度。
  • 元数据用来过滤不用来好看。四个必填:title、updated、audience、status。
  • 两个指标分开测:命中率(检索层)和答错率(生成层)。命中率不到 70% 先别接生成。
  • 三档方案按"问题是否反复出现"选,不按资料量选。
  • 权限三查:分区入库、结果层过滤、删除同步。第三条最容易被忘。

六、相关文章 ​

知识库处理的是文字,接下来这一类数据长得完全不一样:表格。表格里的错不是"读不懂",是"算错了"——而 AI 算错的时候,语气和算对时一模一样。相关文章讲自然语言转 SQL 的可靠用法、透视与清洗,以及怎么验证它给的数对不对。

继续阅读:[《AI 做数据分析:表格、SQL 与图表》 AI 做数据分析:表格、SQL 与图表](/guide/ai-tools/ai-data-analysis.html)