Adam 和 SGD 在拒绝短梯度列之前部分更新参数
作者: chekwube-ononuju创建于 2026年9月22日更新于 2026年9月22日
问题描述
在当前主线上测试一个具有两个参数的优化工作流程时,我发现 Adam.step() 和 SGD.step() 在更新参数之前并未验证梯度数组的数量。
内容来源: NVIDIA/warp
在当前主线上测试一个具有两个参数的优化工作流程时,我发现 Adam.step() 和 SGD.step() 在更新参数之前并未验证梯度数组的数量。
内容来源: NVIDIA/warp