Baike.dev
All toolsAI codingTrendingOpen sourceNewsSubmit
Log in
Back to tool/Back to issues
#835·hello-agents

[问题/Issue] 章节3.1.2:对自注意力公式的解释有疑问

Author: laduohao0-jpgCreated Aug 22, 2026Updated Aug 22, 2026
Labelsdocumentation

1. 遇到问题的章节 / Affected Chapter

Chapter3.1.2

2. 问题类型 / Issue Type

内容错误 / Content Error

3. 具体问题描述 / Problem Description

原文注意力公式中‘’‘将得到的所有分数除以一个缩放因子$\sqrt{d_{k}}$,以防止梯度过小。’‘’ 我认为这里的根号dk可以理解为波动项。去除波动项的影响,其目的不一定是防止梯度过小,也可能是防止梯度过大。如果只说防止梯度过小可能会给读者带来误解,我认为此处可能使用稳定梯度会更恰当点。

4. 问题重现材料 / Reproduction Materials

无

5. 补充信息 / Additional Information

No response

确认事项 / Verification

  • 我已阅读过相关章节的文档 / I have read the relevant chapter documentation
  • 我已搜索过现有的Issues,确认此问题未被报告 / I have searched existing Issues and confirmed this hasn't been reported
  • 我已尝试过基本的故障排除(如重启、重新安装依赖等) / I have tried basic troubleshooting (restart, reinstall dependencies, etc.)

Source: datawhalechina/hello-agents

View original on GitHubView discussion on GitHub