适用于 onnxruntime 的生成式 AI 扩展
使用 ONNX 运行生成式 AI 模型。此 API 为您提供了在设备上运行 LLM 的简单、灵活且高性能的方法。它实现了针对 ONNX 模型的生成式 AI 循环，包括前处理和后处理、使用 ONNX 运行时进行推理、logits 处理、搜索和采样、KV 缓存管理以及用于调用工具的语法规范。 ONNX 运行时 GenAI 支持 Foundry Local、Windows ML 和 Visual Studio Code AI 工具包。 有关更多详细信息,请参阅 ONNX 运行时网站 的文档。
| 支持矩阵 | 现已支持 | 正在开发中 | 在路线图中 | | -------------- | ------------- | ----------------- | -------------- | | 模型架构 | AMD OLMo ChatGLM DeepSeek ERNIE 4.5 Fara Gemma gpt-oss Granite Granite MoE Hybrid HunYuan Dense V1 InternLM2 LLaMA Mistral Nemotron Phi (语言 + 视觉) Qwen (语言 + 视觉) SmolLM3 Whisper | Stable Diffusion | 多模型 | | API | Python C# C/C++ Java ^ | Objective-C || | 操作系统 | Linux Windows Mac Android || iOS || | 架构 | x86 x64 arm64 || | 硬件加速 | CPU CUDA DirectML NvTensorRtRtx (TRT-RTX) OpenVINO QNN WebGPU | | AMD GPU | | 功能 | 多 LoRA 连续解码 受限解码 | | 猜测解码 |
^ 需要从源代码构建
暂无开放 Issues，或尚未同步最近议题。