zero_to_fp32.py 删除缓冲区

至少对于 deepspeed 0.3.16，zero_to_fp32.py 似乎会从状态字典中删除使用 register_buffer 注册的内容。目前的脚本似乎会从优化器中获取状态，因此也许任何不是可优化模型参数的状态都会被删除，这样做是有意义的。结果是，在具有缓冲区的模型上运行 zero_to_fp32.py 后，会得到一个新的状态字典，其条目较少，因此无法用于加载。如果有助于解决问题，我可以尝试创建一个最小的重现情况，尽管这可能需要我花一些时间。我希望这个问题很容易重现。