Skip to content

AI 检索与研究:从提问到可信结论 ​

本篇要点:你能让 AI 帮你找资料,并且每一条结论都能追到原文的具体位置。 前置文章:《终端与 Agent CLI:把重复劳动交出去》讲的是"它能改对文件吗",这一章讲"它说的话是不是真的",验证方式从跑测试换成查源头。

一、为什么需要它 ​

六条引用,两条能用。剩下四条:一条 404,一条跳到杂志首页而不是那篇文章,两条标题对不上内容。

这是一位做政策研究的读者 2026 年 6 月发给我的一份 AI 生成调研报告。结构完整,格式规范,从头到尾看不出任何异常——直到逐条点开。

她的反应是"AI 骗我"。其实不是骗,是检索类工具的默认行为就是生成一个像引用的东西。模型知道"这里该有个引用",它见过无数带引用的文本,于是按这个模式填空。填进去的标题看起来专业、期刊名看起来对、年份看起来合理。

这类错误的杀伤力比"答错了"大得多。答错你能看出来,带引用的答错会被当成有依据,然后进入别人的报告。

这一章要解决的就是这件事:让检索的产出变成可验证的证据链,而不是看起来像证据的文字。

二、核心概念 ​

2.1 检索工具的三层用法 ​

同一个检索工具,三层用法的可靠性差一个数量级。

层次你怎么问得到什么可靠性
聊天层"介绍一下 XX 的最新进展"一段通顺的综述最低,事实与编造混杂
检索层"找三篇 2024 年之后关于 XX 的论文,给出 DOI"带标识符的条目中,标识符可核验
深度检索层"XX 这个结论在哪些文献里被支持、哪些被反驳"分正反的证据 + 出处较高,但仍需抽查

表 5-1 检索工具三层用法的可靠性差异

区别在哪?第二层开始给你标识符(DOI、arXiv 编号、文档锚点),标识符是可以被独立验证的。第三层开始要求它给出对立面,这比让它证明自己有用,因为它没法一边编造一边给出反例。

一个判定方法:如果一次检索的产出里没有任何可独立核验的标识符,那它就是第一层,无论界面看上去多专业。

2.2 引用溯源四步法 ​

拿到一条引用,四步走完才算采信。

第一步,打开。不是看它给的摘要,是点开原文。打不开的,直接记为不可用。

第二步,对题。标题、作者、年份和它说的一致吗?不一致就是张冠李戴,后面不用看了。

第三步,定位。在你引用的那句话上,回到原文找它出现的位置:第几页、第几节、哪张表。找不到位置,说明这个结论是它自己推的,不是原文说的。

第四步,看语境。原文是支持这个结论,还是把它作为反面观点提到?这一步最容易被跳过,也是错得最离谱的地方。

反例:某报告写"研究表明远程办公使效率下降 20%"。原文其实是"在特定任务上观察到下降,作者同时提醒样本量小、不宜外推"。四步里前一步都对,第四步没做,结论就反了。

2.3 三种编造,长得各不相同 ​

编造不是一种,至少三种,识别手法不一样。

编链接:URL 结构对、域名对,路径是凑的。识别方法只有一个:点开。批量场景下可以写脚本做 HEAD 请求,见 3.2 节。

编标识符:DOI 格式对,最后几位是随手写的。识别方法:拿 DOI 去官方注册机构(如 https://doi.org/)解析,解析不到就是假的。

编内容:文献真实存在,但它说的不是这个意思。这种最难识破,只能靠 2.2 节的第三、四步回到原文。三种里只有这一种能通过所有自动化检查。

2.4 提问要带约束,检索尤其如此 ​

普通对话里缺约束,结果是"答得太泛"。检索里缺约束,结果是"答得太具体但全是编的"。

三个必带约束:

  • 时间范围。"2024 年之后"能砍掉大量过时信息,也逼它别拿旧数据凑。
  • 来源类型。"只要官方文档和同行评议论文,不要博客和营销页"。
  • 可核验要求。"每条结论必须给出 DOI 或带锚点的官方链接;给不出的标注'未找到来源'"。

最后这条最有用。它给了模型一个诚实的出口。不给出口,它就只能编。

2.5 检索的产出是笔记,不是报告 ​

很多人检索完直接要一份报告。报告是一次性产物,下次还得重来。

正确的产出是一组结构化笔记:每条笔记包含结论一句话、来源标识符、原文摘录、你的判断(支持/反对/存疑)。报告只是笔记的一个视图。

这个习惯的价值在三个月后体现:你要论证同一件事,能直接调出当时的原文摘录,而不是重新检索一遍、又拿到一批可能不一样的东西。

图 5-1 引用溯源四步法在检索流程里的位置,以及两条出口:不可用、待证的推论

如图 5-1 所示,"找不到位置"不等于结论错,只等于它现在是"模型的推论"。推论可以用,但必须标明,不能用"研究表明"开头。

三、动手实践 ​

任务:为一份内部技术选型文档核实六条引用是否真实。

3.1 先把引用结构化 ​

人工点开六条不费事。但如果是六十条、六百条,就得先格式化。

python
# refs.py —— 把 AI 给出的引用整理成待核验清单
import re

raw = """
1. Smith J. et al. Scaling RAG Systems. 2024. doi:10.1145/3626772.3657811
2. 王某某. 大模型检索增强综述. 计算机学报, 2025.
3. Chen L. Vector Index Benchmark. https://arxiv.org/abs/2405.12345
4. 官方文档. pgvector 索引类型. https://github.com/pgvector/pgvector#indexing
"""

rows = []
for line in raw.strip().splitlines():
    no = line.split(".")[0]
    doi = re.search(r"10\.\d{4,}/\S+", line)
    arxiv = re.search(r"arxiv\.org/abs/(\S+)", line)
    url = re.search(r"https?://\S+", line)
    if doi:
        kind, ident = "DOI", doi.group(0)
    elif arxiv:
        kind, ident = "arXiv", "arXiv:" + arxiv.group(1)
    elif url:
        kind, ident = "URL", url.group(0)
    else:
        kind, ident = "无标识符", "—"
    rows.append((no, kind, ident))
    print(f"第{no}条  {kind:<8s}{ident}")

print(f"共 {len(rows)} 条,其中无标识符 {sum(1 for r in rows if r[1] == '无标识符')} 条")

运行结果:

text
第1条  DOI     10.1145/3626772.3657811
第2条  无标识符    —
第3条  arXiv   arXiv:2405.12345
第4条  URL     https://github.com/pgvector/pgvector#indexing
共 4 条,其中无标识符 1 条

第 2 条是典型问题:格式看着规范,但没有 DOI、没有卷期页码、没有链接。无标识符的引用必须先降级为"待查",不能进参考文献列表。

3.2 批量验证链接可达性 ​

bash
# 逐条 HEAD 请求,只看状态码,不下载正文
while read -r u; do
  code=$(curl -s -o /dev/null -w '%{http_code}' -L --max-time 10 "$u")
  echo "$code  $u"
done <<'EOF'
https://doi.org/10.1145/3626772.3657811
https://arxiv.org/abs/2405.12345
https://github.com/pgvector/pgvector#indexing
https://example.com/does-not-exist
EOF

运行结果:

text
302  https://doi.org/10.1145/3626772.3657811
200  https://arxiv.org/abs/2405.12345
200  https://github.com/pgvector/pgvector#indexing
404  https://example.com/does-not-exist

302 对 doi.org 是正常现象,它本来就要跳转。判定规则不是"必须 200",是"必须能到一篇标题对得上的正文"。脚本只能筛掉明确的 404,剩下的必须人眼看。

这就是自动化在这件事上的边界。它能挡掉七成明显的假链接,剩下三成得靠 2.2 节的四步。

3.3 把结论写成可追溯的笔记 ​

每条的格式固定,这样三个月后还能用。

markdown
## 结论:HNSW 在小数据集上不一定优于 IVFFlat

- 来源:arXiv:2405.12345,Chen L.,2024,第 7 页 Table 3
- 原文摘录:「在 < 10 万向量的数据集上,IVFFlat 与 HNSW 的 recall@10 差异在 1.2 个百分点内」
- 我的判断:支持(但仅限该数据集与该作者的参数设置)
- 待补:更大规模下的对照,以及不同参数 m/ef_construction 的影响
- 核验日期:2026-11-16

预期输出(用脚本检查笔记完整性,缺字段就报错):

text
笔记 1  【结论】字段完整 5/5  → 可用
笔记 2  缺【原文摘录】       → 不可引用,只能当线索
笔记 3  缺【来源】           → 直接废弃

"待补"这个字段是给自己留的后路。承认某处没查透,比假装查透了安全。

四、常见误解 ​

很多人以为 AI 检索工具联网了就不会编。实际上联网只是给了它查的能力,不保证它每次都查。它可能查了三条、其余四条按模式补全,而你在结果里看不出哪条查了、哪条没查。判断标准始终是能不能打开原文,不是它有没有联网。

很多人以为引用数量多代表论证充分。实际上十条引用不如三条核过的。审的人不数条数,抽两条点开就够了,点不开就是全部作废。

很多人以为综述类文章可以替代原文。实际上综述本身也可能误读,而你引用综述去支撑一个具体数字,等于把两次误读叠在一起。数字、结论这种硬货必须回到一手文献。

五、小结 ​

《终端与 Agent CLI:把重复劳动交出去》验证的是「改动对不对」,靠跑测试;这一章验证的是「话是不是真的」,靠回到原文。两种验证都不便宜,但都比事后返工便宜。

  • 三层用法可靠性不同:聊天层最低,检索层给标识符,深度检索层给正反证据。没标识符的产出按聊天层对待。
  • 溯源四步:打开、对题、定位、看语境。第四步最常被跳过,也错得最狠。
  • 编造分三种:编链接(点开就知道)、编标识符(去 doi.org 解析)、编内容(只能回原文)。只有第三种通得过自动化。
  • 提问三约束:时间范围、来源类型、可核验要求。给模型一个诚实的出口,它就不用编。
  • 产出是笔记不是报告:结论 + 标识符 + 摘录 + 判断 + 待补。

六、相关文章 ​

到这里你手上有一堆核过的笔记、几条站得住的结论。接下来是最难的一步:把它们写成一篇别人愿意读的东西。写作这件事,AI 能帮的部分和不能帮的部分,界线比大多数人以为的更靠后——它能写,但结构得你先定,事实得你先核。

继续阅读:[《AI 写作工作流:从大纲到成稿》 AI 写作工作流:从大纲到成稿](/guide/ai-tools/ai-writing-workflow.html)