vllm-omni 后端 (cuda13) 加载失败: 可编辑的安装点指向构建路径,而未锁定的 vllm-omni 主程序不再与 backend.py 匹配
作者: alaschgari创建于 2026年9月11日更新于 2026年9月13日
LocalAI 版本:
quay.io/go-skynet/local-ai:master-gpu-nvidia-cuda-13 (sha256:02e823f5f25ddef3f4edb94a8960e506daa4f71595d7c75b041d52b6eaaf425b, LocalAI bcf196d)
cuda13-vllm-omni 后端来自 quay.io/go-skynet/local-ai-backends:latest-gpu-nvidia-cuda-13-vllm-omni (sha256:d97f6feee8effc5b71201e5d77eb934f746c4f2197fbf10736860d1df558eee3), 2026-09-11 安装。其中包含: vllm 0.27.1、vllm_omni 0.27.0rc2.dev102+gc3f80502e。
内容来源: mudler/LocalAI