Acc vs acc_norm

顿 我首先要说 我可能无法理解这些日志的计算方法

那么,为什么acc norm总是高于acc? 它们只是确定模型认为最有可能的答案的方法. 因此,Acc表现不佳意味着它正在做一个更糟糕的工作来确定模型的预期答案.

看来应该有正确和错误的方法这样做。 如果logprobs是完成符中logprobs的 *sum *,那么通过完成长度实现正常化是有意义的. 如果我们合作的日志值是完成符的日志平均值,则没有.

我还没有挖到足够的钱来判断是一笔总和还是一笔Avg,但是鉴于acc norm能产生更高的分数,因此得出这是一笔总和的结论似乎是合理的. 在这种情况下,我们不应该总是在用logprob计算多个选择分数时使用acc norm吗?