默认的 gradient_clipping 会将每个 Muon 更新除以其自身范数,从而将步长缩小到模型大小的因子
作者: alanhuangyoo创建于 2026年9月6日更新于 2026年9月27日
Muon's update is **scale-invariant in the gradient**. Newton-Schulz normalizes its input and returns a near-orthogonal matrix, so the output depends on the gradient's direction and not its magnitude:
内容来源: deepspeedai/DeepSpeed