C51 中的数值不稳定
作者: vwxyzjn创建于 2022年1月31日更新于 2026年8月17日
标签help wantedrequire expertise
C51 使用交叉熵损失，具体实现可能会导致数值不稳定。请参阅 链接 以了解概述。通常直接从 logits 计算交叉熵损失更加稳定。不过，我不确定如何做到这一点。Deepmind 的 dqn_zoo 有一个实现，似乎直接使用 logits：
内容来源: vwxyzjn/cleanrl
C51 使用交叉熵损失，具体实现可能会导致数值不稳定。请参阅 链接 以了解概述。通常直接从 logits 计算交叉熵损失更加稳定。不过，我不确定如何做到这一点。Deepmind 的 dqn_zoo 有一个实现，似乎直接使用 logits：
内容来源: vwxyzjn/cleanrl