在 Rust 中对 ONNX 模型进行快速的 ML 推理和训练
ort 是一个 Rust 接口,用于在 Open 神经网络 Exchange (ONNX) 格式中对 机器学习 模型进行硬件加速推理和训练。基于现已停用的 onnxruntime-rs 库,ort 主要是 Microsoft ONNX Runtime 库的封装,但支持 其他纯 Rust 运行时。搭配 ONNX Runtime 的 ort 速度非常快,并且支持几乎任何您能想到的硬件加速器。即便如此,它的体积也很小,可以在用户设备上运行。
当您需要在设备上或数据中心中部署 PyTorch/TensorFlow/Keras/scikit-learn/PaddlePaddle 模型时,ort 可以满足您的需求。
ort 为文本嵌入模型提供高性能的 ONNX 运行时推理。暂无开放 Issues，或尚未同步最近议题。