后端忽略根级 ONNX 文件,无法检测完整模型导出

作者: tomaarsen创建于 2026年8月31日更新于 2026年9月15日

Hello! 这个问题是由我的代理根据 #3915 (cc @LK-maker-007) 生成的。理想情况下,我想扩展或改进 Sentence Transformers 中的 ONNX/OpenVINO 导出行为,使其不仅导出 `transformers` 模型,还导出完整的 ST 模型。然后,第三方 (或是 sentence-transformers lite?) 可以在不需要 `torch` 的情况下加载此检查点,并高效运行它。然而,在两种类型的 ONNX 导出之间存在一个问题:仅导出 `transformers` 模型和完整的 ST。例如,你如何确定模型检查点使用哪种模式?此外,`backend` 参数目前传递给模块,包括 `Transformer`,它使用 `optimum` 加载。如果我们有一个 `full ST` 的 ONNX,那么我们可能需要在 `BaseModel` 层级上加载?也许它只是覆盖 `modules.json` 中的模块,使用一个单一的 `ONNXModule`(同 OpenVINO ?)

内容来源: huggingface/sentence-transformers