candle-vllm

开源

用于推理和服务本地 LLM 的高效平台,包括与 OpenAI 兼容的 API 服务器。

708 stars0 点赞1 次浏览

工具介绍

用于推理和服务本地 LLM 的高效平台,包括与 OpenAI 兼容的 API 服务器。

一个高效、易于使用的平台，用于推理和服务本地 LLM，包括与 OpenAI 兼容的 API 服务器。

	特性	详细信息
⚡	高性能	原生 Flash、FlashInfer、CUDA 图形、持续批处理、前缀缓存。
️	强大的 KV 压缩	TurboQuant（2–4 位 KV 缓存）可将上下文扩展至 4.7 倍，而质量损失最小。
****	跨平台	CUDA（Linux）、Metal（macOS）。同一代码基、同一 API。
****	可用于生产	与 OpenAI 兼容的 API 服务器、内置 ChatGPT 样式的 Web UI、MCP 工具调用、流式传输。
****	易于部署	一行安装脚本、Docker 镜像，或从源代码构建。
****	可扩展	基于特性的架构，可快速实现新的模型管线。
️	多 GPU 和多节点	多进程和多线程张量并行，基于 TCP 的多节点推理。

快速入门

安装

选项 1 — 一行安装 (DEB 或二进制文件)

bash

curl -sSL https://ericlbuehler.github.io/candle-vllm/install.sh | bash

选项 2 — 从源代码构建

bash

git clone [email protected]:EricLBuehler/candle-vllm.git
cd candle-vllm

# CUDA (11+, 12+, 13.0) — remove flashinfer,cutlass for sm_70/sm_75
cargo install --features cuda,nccl,flashinfer,cutlass --path .

# macOS/Metal
cargo install --features metal --path .

选项 3 — Docker

bash

# Pass custom SM version and CUDA version: ./build_docker.sh "cuda,nccl,flashinfer,cutlass" sm_90 13.0.0
./build_docker.sh "cuda,nccl,flashinfer,cutlass"

▶️ 运行

使用 HuggingFace 模型 ID：

bash

candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

candle-vllm --m unsloth/Qwen3.5-122B-A10B-GGUF --f Q3_K_S --d 0,1 --ui-server

candle-vllm --m zai-org/GLM-5.2-FP8 --d 0,1,2,3,4,5,6,7 --ui-server

使用本地模型路径:

bash

# 本地安全传感器目录
candle-vllm --d 0,1,2,3,4,5,6,7 --m /home/data/GLM-5.2-FP8/ --ui-server
# 本地 GGUF 文件（单个或分割分片）
candle-vllm --d 0,1 --m /home/data/model-Q4_K_M.gguf --ui-server
# 含有 GGUF 文件的本地目录 (自动检测)
candle-vllm --d 0,1 --m /hom