跨境贸易合规知识问答系统

面向关务及贸易合规人员在海关申报规则查询、制裁合规制度检索和单证审核规范查询等场景中的知识获取需求,针对法规、企业内部规范及历史业务资料分散、检索效率低和回答依据难追溯等问题,构建具备租户级知识空间、检索权限隔离、知识版本管理、拒答和原文引用能力的 RAG 问答系统。
Python FastAPI LangChain MinerU Qwen BGE-M3 BGE-Reranker Milvus BM25 MySQL LangSmith

项目背景

关务及贸易合规人员在海关申报规则查询、制裁合规制度检索和单证审核规范查询等场景中,需要从分散的法规、企业内部规范及历史业务资料中获取可靠知识。系统以租户级知识空间为基础,通过检索权限隔离、知识版本管理、无答案拒答和原文引用,为业务人员提供高效且可追溯的问答入口。

个人职责

  • 知识库构建:负责贸易法规、企业规范及历史业务资料的解析、清洗和知识入库;针对长篇法规设计 Parent-Child 两级分块策略,针对表格资料采用表头继承与行级切分,提升片段语义完整性和引用定位精度。
  • 增量与版本治理:基于内容指纹识别文档新增、修改和删除,设计知识增量更新、版本发布及历史版本回滚机制,避免全量重建,并保证回答能够追溯至指定知识版本。
  • 混合检索优化:针对专业术语、法规编号和自然语言问题的检索差异,设计 FAQ 与文档知识双链路;结合 Query Rewrite、BGE-M3 向量召回、BM25 关键词召回和 BGE-Reranker 重排,兼顾语义查询与法规编号、专业术语的精确匹配。
  • 可信生成与引用:基于 Qwen 搭建检索增强生成链路,引入证据充分性判断、无答案拒答和原文引用机制;通过 SSE 实现答案流式输出,并同步返回引用来源、检索诊断和链路耗时,支持结果复核与问题定位。
  • 权限隔离:服务端校验 JWT 并解析租户及用户身份,根据 RBAC 授权结果,将租户、角色、资料范围和知识版本转换为 Milvus Metadata Filter,在检索阶段实施数据隔离;基于 SSE 实现流式问答协议,分事件返回生成内容、引用来源、检索路径、拒答原因及各阶段耗时。
  • 评测与迭代:建立覆盖证据召回、排序质量、法规时效、多轮追问、权限越界、引用一致性及单证审核的离线评测集;通过 LangSmith 记录查询改写、召回结果、重排分数、Prompt 版本和链路耗时,将线上 Bad Case 标注后回流评测集,并作为知识版本发布门禁。

成果展示

  • 累计构建包含 500 条样本的离线综合评测集;经过迭代优化后,Recall@5 达到 92%,MRR 达到 0.78,关键结论引用支持率达到 93%。