#3380·WeKnora

[Feature]: 知识库文档脱敏:解析后切块前打码,默认关闭,原件仍保留

Author: MercuialCCreated Sep 18, 2026Updated Sep 18, 2026
Labelsenhancement

Affected Component

Other

Problem Description

知识库文档解析后,全文会进入切块、Embedding、摘要,并可能被发给外部模型 API。很多场景(合同、人事、客服)不允许身份证、手机号、银联卡、信用代码等进入向量库或第三方模型,但 WeKnora 目前没有知识库级的文本脱敏开关。

如果在切块之后再打码,向量和摘要里已经是明文。如果直接改上传原件,运维无法保留底稿,也无法在有写权限时下载原文件。

Proposed Solution

知识库级 opt-in 配置 desensitization_config,默认关闭(已有库 NULL,不改旧文档)。

开启后:本地解析得到 Markdown → 立刻打码 → 再切块 / Embedding / 摘要。外部模型 API 只接触打码后文本。对象存储里的原件不改。

Alternatives

  • 切块后打码:向量/摘要已是明文,放弃。
  • 入库前改写原件:无法保留底稿,放弃。
  • 只做自定义正则、不做校验位:假阳性高(订单号当卡号),放弃作为默认预置。

Impact

Many users would benefit

Use Case

合规知识库打开脱敏,勾选身份证/手机/银联卡。新上传的合同解析后,问答和 Embedding 里是 <身份证> / 138****8000。原 PDF 仍在存储中;仅 retrieve 的自动化 Key 只能检索打码后内容,有写入权限的运营可下载原件复核。

Additional Information

No response

Confirmation

  • I have searched existing issues and confirmed this is a new request
  • I understand this request may need discussion and evaluation