dropout wrapper 的反向传播不会应用掩码

作者: TzuChieh创建于 2024年5月4日更新于 2024年5月4日

你好, 我最近发现了这个用于学习 ML 基本概念的优秀仓库, 并且注意到了在 dropout wrapper 实现过程中存在的一个潜在问题。 具体来说, 我对以下代码行感到困惑: https://GitHub.com/ddbourgin/numpy-ml/blob/b0359af5285fbf9699d64fd5ec059493228af03e/numpy_ml/neural_nets/wrappers/wrappers.py#L231 后面一层的梯度是否也应使用 `forward()` 中使用的掩码? 否则, `dLdy` 在除以概率 `1.0 - self.p` 后将会过高估计真实梯度。 不过, 我是 ML 初学者, 所以不确定这是否是一个问题。

内容来源: ddbourgin/numpy-ml