档案 AI 问答怎么做到不胡编:检索增强与出处核对

档案 AI 问答要做到不胡编,关键不在换一个更大的模型,而在流程:先按权限检索档案原文,再让模型只依据检索到的片段作答,每条结论标注出处,依据对不上就丢弃,查不到就直说。这套做法通常叫检索增强(RAG),放在档案场景里,还要叠加权限和审计。

下面按「为什么会胡编、怎么约束、查不到怎么办、上线前怎么验」四段讲。

大模型为什么会在档案问题上胡编

通用大模型擅长组织语言,但它并没有读过贵单位的档案。直接问「某项目的设备采购合同怎么付款」,模型只能凭训练时见过的类似文本去「猜」一个像样的答案,这就是所谓的幻觉。

档案场景对幻觉几乎零容忍,原因有三:

  • 答案要能进正式流程:付款节点、证照有效期、资料保管期限,一个错的日期就可能带来实际损失;
  • 答案要能追责:档案员需要说清楚结论出自哪份档案、哪一段原文;
  • 答案不能越权:模型如果「知道」账号无权查看的内容,比答错更麻烦。

所以档案 AI 的设计目标不是「让模型更聪明」,而是「让模型只能说档案里有的话」。

检索增强:模型只看当次检索出的原文

检索增强的基本做法是把问答拆成两步:

步骤谁来做做什么
检索档案系统(服务端)把问题转成检索条件,按当前账号的权限范围,从本地档案库找出相关档案与原文片段
作答大模型只依据上一步给出的片段组织回答,每条结论标注对应片段的编号

这样做有两个直接效果。一是模型看不到未命中的档案,更看不到无权限的档案,每次只带当前问题的检索结果,不会把整库交给模型。二是回答里的每一句话都能对应到某个片段,读者点开编号就能回到原件核对。

要让检索靠谱,前提是档案有可检索的文字:Word、Excel、PDF(带文字层)等电子文件在上传时抽取正文、建立全文索引;扫描件需要先完成 OCR,否则模型无从引用。

出处核对:对不上就丢弃

只靠提示词要求模型「标注出处」还不够,模型可能标了一个编号,但内容并不在那段原文里。更稳妥的做法是在系统侧逐条核对:

  • 问答:回答只能引用当次检索出的片段,引用编号必须真实存在;
  • 字段提取:从合同里提取相对方、价款、付款节点等字段时,每个字段都要附原文依据,系统核对依据确实出现在正文里,对不上的字段直接丢弃;
  • 交叉校验:合同价款的大写与小写金额自动交叉核对,不一致时提示人工复核;
  • 人工确认:提取结果与台账现值并排展示,默认只补空字段,覆盖已有人工值需要勾选,每次写入都记审计。

这几条规则的作用,是把「模型说了什么」变成「系统确认过什么」。模型负责理解和措辞,事实由档案原文和规则把关。

查不到怎么办:直说,不硬答

很多胡编发生在「没有资料却硬要回答」的时候。档案 AI 应当把「查不到」当成正常结果处理:

  1. 当前账号可见范围内检索不到相关资料时,直接告知,并给出换词或缩小范围的建议;
  2. 这种情况下不调用模型生成结论,避免模型自由发挥;
  3. 模型服务不可用或未接入时,降级为规则引擎或检索摘录模式,直接列出命中的原文片段,检索、提醒等功能不中断。

另外,问题本身也要具体。「档案管理有什么问题」这类宽泛提问,任何系统都只能给出泛泛回答;限定项目、法人主体、年度或资料类型,回答才有依据可引。

上线前怎么验

建议上线前用真实档案做一轮验证,至少覆盖以下几类问题:

验证项怎么做通过标准
出处准确抽取 20 至 30 个问题,逐条点开出处核对原文结论与原文一致,编号可定位
权限不越界用低权限账号提问高密级或其他全宗的内容答不出、也不提示具体内容
查不到时的表现故意问库里没有的内容直接说明未找到,不生成结论
字段提取用格式不同的合同各试几份有依据的字段正确,无依据的字段为空
降级可用临时断开模型服务检索与摘录照常可用

首次使用时,AI 给出的数量与清单应与人工检索结果对一遍,确认口径一致后再依赖。

子书的做法

子书的两款产品都按上述方式实现档案问答:地质资料智能化管理平台的馆藏 AI 助手只依据检索到的馆藏片段作答,每条结论标注引用编号,未接入模型时自动切换为检索摘录模式;企业电子档案管理系统支持带出处问答、合同要素提取与证照识别,每个字段附原文依据,规则引擎单独可用。两款产品的大模型都可与系统一同部署在局域网内,检索沿用账号权限,问答全程写审计。

已上线功能、内网部署参考配置与常见问题汇总在档案 AI页面;想用贵单位的样例档案实测一遍,可预约演示。