[Feature]: 知识库文档脱敏:解析后切块前打码,默认关闭,原件仍保留
Author: MercuialCCreated Sep 18, 2026Updated Sep 18, 2026
Labelsenhancement
Affected Component
Other
Problem Description
知识库文档解析后,全文会进入切块、Embedding、摘要,并可能被发给外部模型 API。很多场景(合同、人事、客服)不允许身份证、手机号、银联卡、信用代码等进入向量库或第三方模型,但 WeKnora 目前没有知识库级的文本脱敏开关。
如果在切块之后再打码,向量和摘要里已经是明文。如果直接改上传原件,运维无法保留底稿,也无法在有写权限时下载原文件。
Proposed Solution
知识库级 opt-in 配置 desensitization_config,默认关闭(已有库 NULL,不改旧文档)。
开启后:本地解析得到 Markdown → 立刻打码 → 再切块 / Embedding / 摘要。外部模型 API 只接触打码后文本。对象存储里的原件不改。
Alternatives
- 切块后打码:向量/摘要已是明文,放弃。
- 入库前改写原件:无法保留底稿,放弃。
- 只做自定义正则、不做校验位:假阳性高(订单号当卡号),放弃作为默认预置。
Impact
Many users would benefit
Use Case
合规知识库打开脱敏,勾选身份证/手机/银联卡。新上传的合同解析后,问答和 Embedding 里是 <身份证> / 138****8000。原 PDF 仍在存储中;仅 retrieve 的自动化 Key 只能检索打码后内容,有写入权限的运营可下载原件复核。
Additional Information
No response
Confirmation
- I have searched existing issues and confirmed this is a new request
- I understand this request may need discussion and evaluation
Source: Tencent/WeKnora