#8458·DeepSpeed

[BUG] 不要默默忽略使用 shared_prefill 与连续批处理

作者: nathon-lee创建于 2026年9月8日更新于 2026年9月17日
标签bugtraining

上下文 HybridEngineRollout 支持共享提示预填和连续批处理,但它们的交互目前未定义。 当通过 SamplingConfig.continuous_batch_size 启用连续批处理时,连续路径会在共享预填逻辑之前被选择。 因此,HybridEngineRolloutConfig.use_shared_prefill 将被默默忽略。 连续批处理目前需要 n_samples_per_prompt=1,因此共享预填在该模式下并没有明显的优势。 然而,默默忽略配置可能会令人困惑,并可能隐藏不合适的选项组合。

内容来源: deepspeedai/DeepSpeed