地质资料汇交电子文件常见质量问题与智能校验怎么做

地质资料汇交电子文件的质量问题,主要集中在四类:文件本身不合规、内容前后不一致、扫描件质量差、填报信息和正文对不上。前两类可以用规则自动查,后两类需要图像和语义识别,因此目前比较可行的做法是规则引擎加本地化大模型一起校验,人工只复核疑点。

下面先列常见问题和自查方法,再讲智能校验的思路,以及汇交人和馆藏机构分别可以做什么。

四类常见质量问题

验收退回的原因虽然多样,归纳起来不外乎下表这些:

类别常见问题常见原因处理办法
文件合规格式不合要求、0 字节文件、文件损坏打不开转换失败、拷贝中断、用错存档格式对照格式要求逐个打开检查,重新转换或拷贝
文件合规同一资料重复汇交多次报盘、文件改名后重复挂接按内容比对查重,保留正确版本
内容一致题名与正文扉页不一致题名简写、略写,版本更新后未同步以正文报告扉页名称为准
内容一致目录页码对不上、书签缺失或错位改稿后未更新目录,转 PDF 时未生成书签定稿后重新生成目录和书签
内容一致插图缺失、印章缺失转换丢图、提交的是未盖章版本核对原稿,补交完整版本
扫描质量黑边、倾斜、污点、分辨率不足扫描参数不当,未做图像处理调整参数后重扫或做纠偏、去污处理
填报信息题名、编号、密级、单位与正文不符手工录入错误,单位用了简称逐项对照正文和项目文件核对
文件组织文件放错类别、件数统计不符插图放进附图类,载体形式填错按类别调整,核对每个文件的载体形式

这里面最费人工的是内容一致和填报信息两类。成果报告篇幅长、附件多,人工翻查既慢,不同验收人的尺度也难以统一。

汇交前可以怎样自查

汇交人不必等到验收阶段才发现问题。报盘前按下面的顺序过一遍,能减少不少退回:

  1. 先查文件本身:把文件全部打开一次,检查是否有 0 字节或打不开的文件,格式是否符合要求。
  2. 再查题名和目录:报告题名以扉页为准,目录页码和书签在定稿后重新生成,抽查几处跳转是否正确。
  3. 检查图件和印章:附图、插图按要求分类,插图放插图类,审批类文件确认印章齐全。
  4. 抽查扫描质量:重点看扫描图件的边缘、倾斜和清晰度,著录项按《地质资料著录规则》(DZ/T 0465-2024)和《地质资料目录采集和著录技术要求》填写。
  5. 最后用软件校验:汇交报盘软件在生成数据包时会校验已填写的信息,要按生成记录逐条修改,通过后再生成。数据包生成后不要手工改动其中的文件,否则校验信息对不上。

报盘软件的具体报错和处理办法,可参阅地质资料汇交报盘软件常见问题与解决办法。

智能校验怎么做:规则引擎加大模型

人工质检存在两个问题:效率低,标准不易统一。把校验交给系统时,应按问题性质分层处理:

层次检查内容适合的技术
格式层格式合规、0 字节、文件损坏、重复汇交规则引擎,结果确定、可复现
内容层题名一致、目录页码、书签、插图、印章规则加文档解析
图像层扫描件黑边、倾斜、污点多模态识别
语义层题名、编号、密级、单位的语义比对,识别简称和同义改写大模型
标准层依据成果、原始、实物三类验收标准判断标准结构化入库,关键词加向量检索(RAG)

语义层是传统规则难以覆盖的部分。比如填报单位用了简称,而报告扉页写的是全称,纯字面比对会误报,大模型能够识别出两者实际指向同一单位。反过来,文件是否为 0 字节这类问题没有必要交给模型,由规则判断更快也更稳定。

校验系统能否真正用起来,还取决于下面几点:

  • 规则可以调整:校验项能启停、能调参、能扩展,规范更新时只需调整规则,不必改程序;
  • 结果能够直接使用:问题自动汇总成检查单,并附修改意见,可导出 Word 或 PDF 发给汇交人;
  • 结论有依据:每个问题要能定位到文件和位置,并关联对应的验收标准;
  • 数据留在内网:汇交资料可能涉及涉密或保护期内容,大模型应部署在内网服务器,不调用外部云端接口;
  • 由人做最终判断:系统负责找出疑点,是否退回由验收人决定。

把质检前移:汇交人和馆藏机构各做什么

质量问题发现得越早,返工成本越低。比较合理的分工是把校验放在三个位置:

位置谁来用做什么
著录时汇交人、局属单位保存时实时校验,错误字段当场标红并给出填写建议
报盘时汇交人自动核对目录与电子文件,通过后生成规范数据包
验收时馆藏机构自动审查电子文件,生成检查单,人工复核疑点

对于省级地质局来说,还可以在局属单位归交环节增加一道关口:统一配置质检规则,发现问题自动生成整改通知单,一直跟踪到整改闭环。这样,到馆的资料质量会更加整齐,馆藏机构也能把验收精力集中在内容判断上。

上线校验系统时,建议先拿一批已验收的资料试跑,对照人工结论逐项看漏报和误报,再调整规则的启停和阈值。不要一开始就全部规则同时启用,否则误报太多,验收人员很快就不愿再看检查单了。

子书的做法

子书从 2011 年起承担全国地质资料馆汇交报盘软件的研发与运维,在地质资料信息化整体解决方案中提供了贯穿汇交、归交和验收的质检能力:

  • 汇交电子文件智能校验系统:采用规则引擎加本地化大模型的技术路线,覆盖格式层、内容层和填报信息核对,内置成果、原始、实物三类验收标准库;55 项校验规则可启停、可调参、可扩展,问题自动汇总成检查单并附修改意见,可导出 Word 或 PDF;大模型私有化部署于内网 GPU 服务器,数据不出域。
  • 地质资料目录归交报盘软件:面向省级地质局局属单位,电子文件批量挂接后按成功、疑似、失败三色复核;字段级、记录级、批次级三级质检规则在线配置;自动查重与冲突检测,问题生成整改通知单。
  • 馆藏端衔接:地质资料管理系统与 EDMaker 2017 版、GIAS 2023 版报盘软件集成,一键导入报盘数据;处室、项目组或市级馆藏可采用地质资料智能化管理平台,导入时先解析预览,逐卷显示缺字段与格式告警,确认后才落库。

国家规范更新后,校验规则也会同步跟进。如需用贵单位的样例资料试跑校验,或了解汇交质检方案,可预约演示。