[问题/Issue] 章节3.1.2:对自注意力公式的解释有疑问
Author: laduohao0-jpgCreated Aug 22, 2026Updated Aug 22, 2026
Labelsdocumentation
1. 遇到问题的章节 / Affected Chapter
Chapter3.1.2
2. 问题类型 / Issue Type
内容错误 / Content Error
3. 具体问题描述 / Problem Description
原文注意力公式中‘’‘将得到的所有分数除以一个缩放因子$\sqrt{d_{k}}$,以防止梯度过小。’‘’ 我认为这里的根号dk可以理解为波动项。去除波动项的影响,其目的不一定是防止梯度过小,也可能是防止梯度过大。如果只说防止梯度过小可能会给读者带来误解,我认为此处可能使用稳定梯度会更恰当点。
4. 问题重现材料 / Reproduction Materials
无
5. 补充信息 / Additional Information
No response
确认事项 / Verification
- 我已阅读过相关章节的文档 / I have read the relevant chapter documentation
- 我已搜索过现有的Issues,确认此问题未被报告 / I have searched existing Issues and confirmed this hasn't been reported
- 我已尝试过基本的故障排除(如重启、重新安装依赖等) / I have tried basic troubleshooting (restart, reinstall dependencies, etc.)
Source: datawhalechina/hello-agents