EMA 码表更新的 Laplace 平滑
作者: VaishnaviSPatil创建于 2023年11月15日更新于 2025年9月18日
你好, 我知道, 为了计算嵌入的标准化权重, 我们需要除以拉普拉斯平滑后的簇大小, 如代码中所示 这里。 但是, 对于簇大小为零的嵌入, 拉普拉斯平滑会将其替换为一个非常小的值(与ε有关的某个函数)。 当使用这些更新后的簇大小来进行标准化(通过将运行中的 ema_dw 除以更新后的簇大小)并更新嵌入时, 相应的簇大小为零的嵌入会被更新为一个非常大的值。 这些更新后的嵌入在未来被选择的概率会越来越低。 我的理解是否正确, 或者我是否遗漏了什么? 如果确实正确, 有没有办法来缓解这个问题, 使 Perplexity 分数更高?
内容来源: google-deepmind/sonnet