nano-vllm-voxcpm 问题反馈
作者: shylockasr创建于 2026年9月16日更新于 2026年9月16日
我们尝试使用 nano-vllm-voxcpm 部署流式推理,与原生流式推理相比,结果如下: 1)中间包 nano-vllm-voxcpm 的推理速度【22ms】比原生推理【45ms】快了一倍左右; 2)首包 nano-vllm-voxcpm 的推理速度【189ms】比原生推理【147ms】慢一些。
内容来源: OpenBMB/VoxCPM
我们尝试使用 nano-vllm-voxcpm 部署流式推理,与原生流式推理相比,结果如下: 1)中间包 nano-vllm-voxcpm 的推理速度【22ms】比原生推理【45ms】快了一倍左右; 2)首包 nano-vllm-voxcpm 的推理速度【189ms】比原生推理【147ms】慢一些。
内容来源: OpenBMB/VoxCPM