#48308·transformers

原生 TP 不分片 qwen3_vl_moe 专家 (每个排名完全复制权重)

作者: qgallouedec创建于 2026年8月25日更新于 2026年10月1日

在测试原生 TP 时在 Qwen3-VL-30B-A3B 上发现此问题;兄弟架构 qwen3_5_moe 使用相同代码正确地将模型分片,这使得比较变得容易。与 #48204 相关但不同:该草案添加了专家并行路径;此问题是关于纯 TP_size 路径默默复制专家的。

内容来源: huggingface/transformers