在 0.0001 (或其他任意小的浮点数) 时的温度仍然太高
作者: monsieurpooh创建于 2022年1月22日更新于 2022年2月23日
标签bug
如果将温度设置为 0.00001 或类似的低浮点数,输出明显不那么混乱,与温度为明显更大的数字相比;然而,输出仍然非常非确定性,即使在大多数情况下可能正确,但仍经常会回答错误的问题。我怀疑如果在温度范围上有更多的自由,0.00001实际上表示极低的温度,输出几乎没有变化,则会更好地实现问题解答能力。
内容来源: EleutherAI/gpt-neo