GPT-2 实现问题
作者: sanhai77创建于 2024年3月31日更新于 2026年8月5日
"你好,我正在阅读 GPT-2 论文,遇到了与实现相关的以下问题: '我们使用修改后的初始化方法来考虑残差路径上积累的影响,并通过 1/√N 的系数来缩放残差层的权重,其中 N 是残差层的数量。' 我的问题是,我们在积累(先进行加法,然后再进行归一化)之后进行了正则化。那么,我们为什么还需要对权重进行缩放?我们这样做的目的是降低积累的影响,对吗?"
内容来源: karpathy/minGPT
"你好,我正在阅读 GPT-2 论文,遇到了与实现相关的以下问题: '我们使用修改后的初始化方法来考虑残差路径上积累的影响,并通过 1/√N 的系数来缩放残差层的权重,其中 N 是残差层的数量。' 我的问题是,我们在积累(先进行加法,然后再进行归一化)之后进行了正则化。那么,我们为什么还需要对权重进行缩放?我们这样做的目的是降低积累的影响,对吗?"
内容来源: karpathy/minGPT