Aadm 速度慢于 Adafactor
作者: shizhediao创建于 2022年11月26日更新于 2022年11月26日
你好，我发现使用 Adam 训练 Transformer 要比使用 Adafactor 慢三倍。以下是我使用 Adam 的命令：
内容来源: tensorflow/tensor2tensor
你好，我发现使用 Adam 训练 Transformer 要比使用 Adafactor 慢三倍。以下是我使用 Adam 的命令：
内容来源: tensorflow/tensor2tensor