#398·VoxCPM

nano-vllm-voxcpm问题反馈

Author: shylockasrCreated Sep 16, 2026Updated Sep 16, 2026

我们尝试用nano-vllm-voxcpm部署流式推理,对比原生流式推理,结果如下: 1)中间包nano-vllm-voxcpm推理速度【22ms】比原生推理【45ms】快一倍左右; 2)首包nano-vllm-voxcpm推理速度【189ms】比原生推理【147ms】慢一些;

请问有办法提高 nano-vllm-voxcpm 在流式推理时首包的生成速度吗?