#257·sonnet

我有个问题关于 Perplexity 项 (在 VQ-VAE 中)。

作者: SeongYeonPark创建于 2022年11月21日更新于 2022年11月26日

据我所知,这个仓库中的 VQ-VAE 使用的 Perplexity 类似于"有意义的编码表令牌数"。当只使用一个编码表令牌时,Perplexity 为 1。当所有编码表令牌均以均匀的方式出现时,Perplexity 等于编码表数。因此,我很好奇,为了获得良好的输出质量, "Perplexity 除以编码表数"的最小阈值是多少? (我猜这应该是通过实验来确定的。如果你有与这个问题相关的结果,那将是非常有用的。)

内容来源: google-deepmind/sonnet