CosyVoice2: 是否支持多语句批量 (B>1) 推理,或是否计划支持?
作者: James-Bond123创建于 2026年9月9日更新于 2026年9月10日
谢谢你的伟大工作。 我们正在服务 CosyVoice2-0.5B 并想确认批量推论(B>1)是否支持.
从代码来看,推论看起来只是单发性:
cosyvoice/flow/flow.py: profile sorders.shape [0] =================================================================================================================================================================================================================================== cosyvoice/cli/model.py:每个tts()会生出以每个uuid dict为对象的每个请求线;包裹到(1,N)的标志. cosyvoice/LLM/LLM.py:AR解码硬码 (1,1,T,T)口罩和样品 每步.项目() 向前训练明显使用真正的分批平分(make pad mask(长),pad 序列),因此分分批可分.
批量=1是设计推论吗? B>1解码(LLM + Flow + HiFi-GAN)是否有任何官方计划/推荐模式? 我们之所以需要它,是因为在一些加速器(如Ascend NPU)上,一个分批的图表被支持,但多个并发的批=1的图表不是. 谢谢!
内容来源: QwenAudio/CosyVoice