privacy-filter

OpenAI 隐私过滤器

OpenAI 隐私过滤器是一种用于文本中个人身份信息（PII）检测与掩码的双向令牌分类模型。它专为高吞吐量的数据清洗工作流而设计，适用于需要能够在本地运行、快速、具备上下文感知能力且可调优的模型的团队。

OpenAI隐私过滤器通过自回归预训练，得到一个与gpt-oss架构相似但规模较小的检查点。随后，我们将该检查点转换为基于隐私标签分类体系的双向token分类器，并使用监督分类损失进行后训练。（关于gpt-oss的架构细节，请参阅gpt-oss模型卡。）该模型并非逐token生成文本，而是在单次前向传播中对输入序列进行标注，然后通过受约束的维特比过程解码出连贯的片段。对于每个输入token，模型会预测一个在标签分类体系上的概率分布，该体系包含以下描述的8个输出类别。

亮点：

• 宽松的 Apache 2.0 许可证：非常适合实验、定制和商业部署。
• 体积小：可在网页浏览器或笔记本电脑上运行——总计 1.5B 参数，活跃参数 50M。
• 可微调：通过简单且数据高效的微调，使模型适应特定的数据分布。
• 长上下文：128,000 token 的上下文窗口，能够以高吞吐量处理长文本，无需分块。
• 运行时控制：通过预设操作点配置精确率/召回率权衡和检测到的跨度长度。

本仓库

该仓库包含用于运行、评估和微调隐私过滤器检查点的本地代码、命令行工具及示例资源。它面向希望直接检查实现并在自身环境中操作模型的团队。

仓库资源：许可证 和 安全政策。

使用方法

1. 在本地安装该包：

pip install -e .

安装后，你将获得一个 Python 脚本 opf，可直接运行，或通过 Python -m opf 调用。该脚本可按以下三种方式使用。

1. 运行一次性脱敏：

默认情况下