与 rmsnorm/layernorm 同步

当在使用 Megatron 的训练阶段同时启用序列并行和张量并行时,会出现 RMSNorm 或 LayerNorm 参数的多个副本,且它们的值不同。例如,当张量并行为 8,隐藏维度为 1024 时,会有 8 个参数张量,每个张量的维度为 1024,且 8 个张量的值不同。如果张量并行为 4,则会有 4 个参数张量,它们的值也不同。在这种情况下,如何将这些不同的参数张量转换为一个张量来进行推理?谢谢!