[BUG] DeepSpeed ZeRO Stage-3 + 由 CPU 卸载的优化器 (CPUAdam) 在子组之间的元数据不一致

描述错误 使用 DeepSpeed ZeRO Stage-3 + CPU offloaded optimizer (CPUAdam) 时,如果有 2 个以上的子组,则单个训练步骤内的优化器状态更新似乎在不同的子组中应用了不一致的偏差校正值。具体来说,对于相同的全局步骤(例如步骤=3),_bias_correction2 在第一个子组调用和同一步骤内的后续子组调用之间不同,这意味着后续子组可能实际上使用了与前一个子组不同的优化器状态,对于相同的步骤而言。