onnx-community/OpenMed-PII-SuperClinical: q8 静默返回接近机率的 logits; fp16 和 q4f16 无法加载

页:1

为['onnx-community/OpenMed-PII-SuperClinical-Base-184M-v1-ONNX](https://huggingface.co/onnx-community/OpenMed-PII-SuperClinical-Base-184M-v1-ONNX]所公布的五个ONNX变体中有三个是无法使用的. 两个在会话创建时都响亮地失败;** 一个装入精细而无声地返回近距离的预测**,这就是我提出的原因——一个q8 ' 的消费者得到一个似乎健康的管线,而几乎什么也没有发现。

• 变体 * 文件 * 大小 * 结果 * |. QQ'fp32' QQ'model.onnx" 704 MB QQ工作-最大分 1.00分,正确标签QQ QQ"q4" QQ"model q4.onnx" QQ 496 MB QQ作品-最大分0.99分,正确标签QQ.
• • q8' * * model quantized.onnx' * * 232 MB * * * * *载,但预测是噪音 * * *

环境

• " 拥抱面 " / " 翻译员 " 4.2.0
• `nnxruntime-node ' 1.2.43
• 节点v23.6.1,macOS(达尔文臂64)

三个失败都在节点中复制. " q8 " 行为和 " q4 " 修补被额外确认为浏览器,其图书馆版本与jsDelivr相同; " fp16 " 和 " q4f16 " 没有在浏览器中重新测试。

• 复制

{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你来干什么? 从“@huggingface/ transfers”导入{管道};

c. Const MODEL = “onnx-community/OpenMed-PII-超临床-Base-184M-v1-ONNX”; cont text = "Patition: Jane Q. Testpatient DOB: 03/14/1985 MRN: TESTTMRN-424242 由爱丽丝·史密斯博士在加那利巷123号所见"; ;

用于(Const dtype of ["q8","q4","fp16","q4f16","fp32"]){ 尝试{ const p = 等待管道("托肯-分类",MODEL,{ dtype}); const out = 等待 p(text, { 忽略 lables: ["O"]]); 控制台.log(dtype, out.word),"实体,最大分数", 长度 ? Math.max(.out.map(o o o.score)) to Fixed(3) : “n/a” ; {\fn华文楷体\fs16\1cHE0E0E0}抓住(e){ a. 控制台.log(dtype,"FAILED:", e.message); {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢? {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢?

1. " q8 " -- -- 负载,但产出接近并贴错了标签

[{实体:"I-phone number",得分:0.042,单词:"简"}, {实体:"B-certificate license number",得分:0.033,单词:"爱丽丝"}}

两段都贴错了标签,几乎都是偶然的——`Jane'作为电话号码,`Alice'作为许可证号码。 无出错 。

与 “ dtype” 相同的输入和代码 :

11个实体,最高分0.999 简 - > 首字母名称@ 1.00 03/14/1985 - > 出生日期@ 0.99 爱丽丝,史密斯,罗伯特,陈都检测到名字了

" q8 " 下的近同位素软体表示,量化损害分类头部,而不是象征性或相貌问题。

2. “fp16”-未装入

从./onnx/model fp16.onnx装入模型失败 : 类型出错:输出参数(/deberta/embeddings/Cast output 0)的类型(tensor(float16)) 节点(/deberta/embeddings/Cast)与预期类型(tensor(浮点))不符。

DeBERTa的 " Cast " 节点在消费者期望的 " float32 " 处嵌入了 " float16 " ,因此图表失效。
. . . . . . .