技术 · 2026-11-04 · 9 分钟

11 MB 的本地 PII 模型凭什么够用?四款开源模型三套数据实测

在给 Inkfish(墨鱼脱敏) 挑本地 PII 模型的时候,我卡在一个很具体的问题上:每个模型在 Hugging Face 模型卡上贴出来的 F1 分数都很漂亮,但它们测的东西和我们用户塞进来的 PDF 根本不是一回事。一份租房或咨询合同里夹在正文中间的甲乙方姓名、财务表格里一列光秃秃的手机号、扫描件经 Apple Vision OCR 逐行抽出来的德文街道地址,这三种东西混在一起时谁能认全,现成的公开榜单里根本查不到。

端侧 PII 检测模型(On-Device PII Detection Model)是指直接打包在本地应用内、无需联网或调用云端 API,即可在用户设备上从文本中识别姓名、地址、证件号与金融账号等个人敏感信息的轻量级序列标注模型。在桌面 PDF 脱敏工具中,它通常与确定性正则和校验和规则配合工作:规则负责卡住证件号与银行卡格式,本地模型负责兜底没有固定句式的自然语言人名与跨行地址。

既然榜单没法信,我干脆自己搭了评测脚本,用三套彼此独立的数据把四款开源候选跑了一遍。跑完发现,原本只看自建样本得出的第一名,换一套数据直接掉了队。

怎么算「认出来了」:两个不看标签名、只看遮没遮住的指标

不同模型的标签体系各起各的名字,直接按标签算 F1 只会测出「谁的分类命名跟测试集最像」。做 PDF 脱敏真正关心的是:该涂黑的字到底涂干净没有。所以我把评测指标砍到了两个:

  1. 实体通过率(Entity Pass Rate)看一段文本里的某个敏感实体,是不是所有非空白字符都被模型命中的范围完整盖住;只要漏掉半个姓氏或门牌号尾数就算失败。比对时特意忽略了空白字符,否则英文姓名中间那个没被打上标签的空格,会把一条本来完全正确的识别直接判成失败。
  2. 字符漏检率(Character Miss Rate)算整批样本里所有属于敏感信息的字符中,有多大比例最后还露在外面。这个指标专门用来给「输出喜欢切碎」的模型留条活路,哪怕模型把一个人名或长串号码拆成两段连续遮盖,只要字在纸面上真被盖住了,字符漏检率就不会冤枉它。

用来跑分的测试集分成了三组,来源和脾气完全不同:

测试数据集样本规模文本形态与用途
自建三语文档集20 份文档 / 85 个实体我手写的中文、英文、德文自然合同段落、表格行与干净负例
ai4privacy/pii-masking-300k德语 200 条 + 法语 200 条公开标注语料,一行里密集塞满密码、邮编、日期与账号的模板文本
Inkfish 内置规则夹具43 条正例 + 12 条校验反例工程里 43 条现役确定性规则对应的真实输入样例与故意改错校验位的负例

三组里说话最有分量的是第三组。前两组怎么挑样本多少带着我的主观偏好;而那 43 条正例和 12 条反例早在考虑接模型之前就写死在工程测试里了,谁也没法为了迁就某个模型去改考题。

四款候选同场跑分:第一名在两列数据之间翻了车

把四款开源模型放在同一台 Mac 上跑完三套数据,汇总出来的成绩单长这样:

候选模型模型文件体积自建用例实体通过率密集模板字符漏检率德语通过率单次调用耗时
OpenAI Privacy Filter2.6 GB88%6.4%82%230 ms
AstrLink Guard79 MB73%40.3%61%5 ms
newmean-pii medium11 MB94%23.7%92%15 ms
GLiNER2-PII1.2 GB97%(仅测 43 条规则正例)未跑同批96%255 ms

如果只看第三列「自建用例通过率」,1.2 GB 的 GLiNER2-PII 和 11 MB 的 newmean-pii medium 排在最前面;可一旦把目光移到第四列「密集模板字符漏检率」,座次立马倒了过来。

在跑这套对比的过程中,有三个结果直接改写了我的选型方案:

第一,换一套文本分布,模型的强弱排名会直接反转。newmean-pii medium 在我手写的自然合同段落里字符漏检率只有 1.3%,表现好得像个大模型;可一扔进 ai4privacy 那种多字段紧挨着的密集模板文本,漏检率飙升到 23.7%。反倒是 2.6 GB 的 OpenAI Privacy Filter 很稳,在自建集上漏 5.9%,到了密集模板里也只漏 6.4%。没有任何一个候选能在所有文本分布上通吃。

第二,11 MB 小模型的短板非常具体,并非全面缩水。把 ai4privacy 的漏检按类别拆开看就明白了:在身份证号、护照号、驾照号、美国 SSN 这四类核心证件上,newmean 的字符漏检率只有 0.5% 到 5%,比同为轻量级的 AstrLink Guard(漏检 57% 到 87%)低整整一个数量级。真正把 newmean 总分往下拽的是三类东西:密码(漏 86%)、单独出现的城市名(漏 65%)和邮政编码(漏 35%)。我第一版手写那 20 份测试文档时,脑子里想的都是正常合同,压根没往里塞密码、裸日期和单独的行政区划名——结果第一版测试正好绕开了它的全部盲区,差点给出一个虚高的结论。

第三,没有任何一个神经网络模型能算明白校验位。第三套数据里有 12 条专门挖坑的反例:我把 18 位身份证号的最后一位校验码改错、把欧洲 IBAN 账号的 mod-97 校验位改坏、把银行卡号末位改成通不过 Luhn 算法的数字。结果三个跑完全程的模型几乎全军覆没,照样把它们当成真号码涂黑。

12 条故意改错校验位的反例AstrLink Guardnewmean-pii mediumOpenAI Privacy Filter
误报(把假号码当成真敏感信息遮掉)3 条10 条9 条

这件事调高或调低置信度阈值都没用。Token 分类器眼里只有「长得像不像一串 18 位数字」,它不会在隐藏层里给你做模 11 或模 97 除法。凡是需要靠校验和辨别真伪的号码,判断权必须留在确定性代码里。

为什么最后拍板留下 11 MB 的 newmean-pii medium?

权衡完那张表,我最终放进 Inkfish 的是 newmean-pii medium(模型权重约 11.3 MB,加上分词器共约 11.55 MiB)。拍板留下它有四条很实在的工程理由:

首先,它跟现有 43 条内置规则咬合得最紧。在 Inkfish 既有的 43 条正例夹具上,它一次通过了 40 条(93%),而另外两款完整跑完的模型只过了 32 条(74%)和 15 条(35%)。

其次,德语过关。Inkfish 有很大一部分文档来自德语区(如含 Herr、Frau、Vertreten durch 与德式街道门牌的租赁和咨询合同),newmean 在德语样本上拿到了 92% 的通过率,而 79 MB 的 AstrLink Guard 只有 61%,在德文合同里漏掉了多处完整地址。

再者,它的体积与接入成本是一个原生 Mac 小工具能消化的。它的底层是纯 C 推理配一层薄 Swift 包装,不依赖庞大的 ONNX Runtime 或 Python 环境。裁剪掉联网下载模块后放进工程,编译出来的二进制只涨了 369 KB,CLI 实测峰值内存约 60 MB,缓存热启动不到 1 秒。相比之下,让用户为了脱敏一份几百 KB 的合同去下 1.2 GB 甚至 2.6 GB 的权重文件,产品体验上根本说不通。

最后,它的代价清晰且刚好能被现有架构补齐。它在密集模板文本上 23.7% 的漏检率是实打实的短板(差不多是 2.6 GB 模型的 3.7 倍)。如果 Inkfish 的做法是把整页 PDF 转成一坨纯文本全扔给模型单打独斗,选它肯定翻车;但 Inkfish 本身已经有覆盖中、美、欧、英、金融、医疗的规则包去抓结构化号码与邮编,需要模型出力的恰恰是散落在合同段落与表格单元格里的人名、地址和机构名,这正是 11 MB 模型最擅长的短文本形态。

模型仓库、底座与 Apache-2.0 商用许可核查

因为要把权重直接打包进商业发布的 Mac App,我没敢只看 Hugging Face 侧边栏上的 License 标签,而是把四个仓库里的 LICENSE 和 NOTICE 原文逐字翻了一遍:

模型名称源码与权重仓库开源许可证底座模型与上游组件
newmean-piinewmean-ai/pii-mediumApache-2.0mMiniLMv2-L6-H384(MIT)、XLM-R 分词器(MIT)
OpenAI Privacy Filteropenai/privacy-filterApache-2.0自研 MoE 架构,1.5B 总参数 / 50M 激活参数
AstrLink GuardQuantumNous/astrlink-guardApache-2.0Multilingual-MiniLM-L12-H384
GLiNER2-PIIfastino/gliner2-privacy-filter-PII-multiApache-2.0mDeBERTa-v3-base

翻 newmean 的 NOTICE 文件时,有两处细节非常庆幸提前看了一眼:

第一,它公开挂出来的评测数据集 newmean-ai/pii-dataset 用的是 CC BY-NC-4.0(非商业使用)协议,这意味着不能把那套公开数据拉进商业软件的仓库里当回归测试集;好在 SDK 代码和 nano / small / medium / large 四档模型权重本身明确声明为 Apache-2.0,打包分发不受影响。

第二,它的 NOTICE 写明训练数据是由 Claude 模型生成的合成文本(并由 mDeBERTa-v3-base 与 XLM-RoBERTa-large 教师模型打标蒸馏),没有混入第三方真实隐私语料。按 Apache-2.0 第 4(d) 条要求,随包分发时必须在应用的开源许可页面里完整保留其 NOTICE 以及上游 Microsoft mMiniLMv2 和 Facebook XLM-R 分词器的 MIT 声明;至于文件里提到的 "Powered by newmean.ai" 链接请求,原文明确标注了 not a license condition(非许可条件)。本文仅作工程选型记录,不构成法律意见。

真正接进 Inkfish 时踩到的三个工程坑

把模型跑通只是第一步,真正把它塞进 Inkfish 使用指南 所说的「扫描 → 审阅 → 涂墨 → 复核」链路里,马上撞上了三个必须动手修的问题:

  1. 上游 Swift 包自带联网下载分支,且输出喜欢切碎。在没传本地路径时,原始 SDK 会调用 URLSession 去拉取远程模型,这直接违背了 Inkfish「零网络权限、纯本机运行」的底线。我把下载与缓存模块整块裁掉,改成强制只读应用 Bundle 内的本地模型目录,并基于原页 UTF-16 偏移(1024 单位分块、128 单位重叠)映射坐标。同时,模型经常把一串银行卡号切成六段、把一个人名切成两段;涂黑画面虽然不漏字,但审阅列表会碎成一地,必须在同页、同类且满足行内边界约束时做受限合并。
  2. 模型只有粗粒度大类,没有证件子类型,也没有校准后的置信度百分比。在 newmean 的输出里,中国身份证、美国 SSN 和护照全叫 ID_NUMBER,银行卡、IBAN 和 SWIFT 全叫 FINANCIAL;而且底层 C 接口只算 token logits,不提供校准后的实体概率。所以在 Inkfish 审阅列表里,纯规则命中的项继续显示把握度百分比(默认 85% 阈值预选),而模型补充的项直接标明「本地模型建议」来源,不硬编假百分比去误导用户。
  3. 模型只能当补充建议通道,不能凌驾于确定性规则之上。因为模型分不清校验位对错,也分不清普通合同签署日期和出生日期,最终落地的架构是现有确定性规则与 Apple 系统 NLP 先跑,本地模型在后面做证据融合。凡是带校验和的号码(身份证、IBAN、银行卡),一律以开启的地区规则包和校验器为准;模型既不能绕过用户已关闭的规则包,也不能把校验失败的号码强行升格为已验证号码。

一次老老实实的返工记录

写下这篇笔记的初稿时,我手里只有那 20 份自己写的测试文档。当时看着 newmean 94% 对 Privacy Filter 88% 的数字,差点直接写下「11 MB 小模型全面击败 2.6 GB 大模型」这种爽文标题。

幸亏后来补跑了 400 条 ai4privacy 独立样本和 12 条校验位反例,才把那句吹过头的结论按住:85 个手写实体根本不够拉开个位数百分比的差距,而且人手写测试样例时太容易顺着自己的习惯写「标准句子」,把模型最怕的密集键值堆叠、密码串和错位校验码全漏掉了。

现在工程里定下的规矩很简单:任何关于模型谁优谁劣的说法,至少得拿 200 条以上非自建的独立样本、按类别拆开的漏检明细、外加一组专门唱反调的负例说话。至于把模型找出来的敏感信息真正从 PDF 底层流里删干净、再用墨鱼喷墨把状态交代清楚,那是另一半工程活,具体可以看姊妹篇《为什么让墨鱼来给 PDF 脱敏:一口墨背后的产品设计》与《Mac PDF 离线脱敏指南》。

常见问题

Inkfish 里的本地 PII 模型运行需要联网下载权重吗?

不需要。模型权重与分词器(约 11.55 MiB)随 Inkfish 安装包直接内置在本地应用资源里,联网下载代码在接入时已被物理移除,且 App 本身没有任何网络客户端权限(Zero-Network Entitlement),断网状态下首次打开即可直接扫描。

为什么本地 PII 模型不能完全取代正则表达式和校验位规则?

因为神经网络序列标注模型看的是字符上下文与外观形态,不会做数学校验计算。实测中,把身份证第 18 位校验码、IBAN 的 mod-97 校验位或信用卡的 Luhn 末位故意改错后,模型依然会把它们标为敏感号码;同时模型只输出 ID_NUMBER 或 FINANCIAL 等粗粒度标签,无法区分具体国家的证件类型。因此结构化号码必须由确定性规则与校验器把关,模型只负责补充规则难以穷举的人名、地址与机构名。

newmean-pii medium 模型支持哪些语言的 PDF 脱敏?可以商用吗?

在 Inkfish 的三语评测与工程接入中,它支持中文、英文与德文(德语测试集通过率达 92%),配合 macOS 原生 Vision OCR 可处理扫描件。其 SDK 与模型权重采用 Apache-2.0 许可证,允许商业集成与离线分发(分发时需按条款保留 NOTICE 与上游 MIT 声明);但需注意其公开评测集 newmean-ai/pii-dataset 为 CC BY-NC-4.0 协议,不可用于商业用途。

Inkfish app icon

更多手记