一种高吞吐量、高内存效率的推理和服务引擎，用于 LLM
| Documentation | Blog | Paper | Twitter/X | User 论坛 | Developer Slack |
我们已经构建了一个 vLLM 网站，帮助您开始使用 vLLM。请访问 [vllm.ai](https://vllm.ai) 了解更多信息。 vLLM最初是在加州大学伯克利分校的 [Sky Computing Lab](https://sky.cs.berkeley.edu) 开发的,如今已发展成为一个最活跃的开源 AI 项目,由来自 2000 多名贡献者的众多学术机构和公司组成的多元化社区建立和维护。 - 先进的服务吞吐量 - 通过 [**PagedAttention**](https://blog.vllm.ai/2023/06/20/vllm.html) 高效管理注意力关键字和值内存 - 连续批量处理来自请求,分块预填充,前缀缓存 - 使用分段和完整 CUDA/HIP 图形实现快速灵活的模型执行 - 量化: FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF, 压缩张量, ModelOpt, TorchAO 以及 [更多](https://docs.vllm.ai/en/latest/features/quantization/index.html) - 优化的注意力内核,包括 FlashAttention, FlashInfer, TRTLLM-GEN, FlashMLA 和 Triton - 使用 CUTLASS, TRTLLM-GEN, CuTeDSL 为各种精度优化 GEMM/MoE 内核 - 含有 n-gram, 后缀, EAGLE, DFlash 的推测解码 - 使用 torch.compile 自动生成内核和图形级转换 - 分解的预填充,解码和编码 vLLM 具有灵活性和易用性,支持以下功能:[错误]: GLM-5.3-Flash 在长上下文中进行非法内存访问的预填内容在 v 0.30.0 中仍会出现 (B200, TP4+EP, MTP)
[错误]: MoRIIO WRITE: 生产者死亡后,解码请求会一直挂起,直到客户端超时,而 KV 使用量仍然处于高位
[错误]: NixlConnector 在静默模式下误读具有分割 K/V 位置的 KV 页面(ROCm AITER shuffle、ROCM_ATTN、B12X)
[错误]: llama3_json 流式传输丢失以 '{' 开头但不是工具调用的辅助内容(非流式传输会返回此内容)
[错误]: gpt-oss (HarmonyParser): 返回了一个遗漏的 'commentary to=assistant' 标头,作为名为 'assistant<|channel|>analysis' 的工具调用
[RFC]: NixlConnector: 将标准 KV 页面转换为解码端的 ROCm AITER 随机排序页面
PP on Docker: gloo 控制平面解析为桥接 IP (每次发送 535 毫秒),并呈现为长上下文解码崩溃 – 建议为同一网络命名空间的进程设置默认值 GLOO_SOCKET_IFNAME=lo
[功能]: 支持 /v1/systemone 端点,适用于 convaiinnovations/laya 等模型
Model Runner V2 尚待完成的任务
[错误]: 前缀缓存 + MTP 在 v0.28.0 中的混合 Mamba/GDN 模型仍会损坏输出（#43559 已关闭但未修复）