#5084·ParlAI

BlenderBotSmall 的流利度

作者: Lkh97创建于 2023年10月16日更新于 2023年10月19日

你好。我有一个关于 BlenderBot Small 90M 的问题。 我已经为 blenderbot small 应用了安全框架,以强制安全生成。 现在我需要测量我生成的安全答案的"流畅性"。在这种情况下,常见的做法是将我的生成结果作为标签传递给一个更大的模型,并计算 Perplexity。我尝试了同样的事情在 LLAMA2 上。然而,计算的困惑度非常高,在 400k 的范围内。我推测原因是两个模型大小之间的巨大差距(blenderbot small 与 LLAMA2)。你认为我如何能够基于 blenderbot small 测量我生成答案的流畅性?

内容来源: facebookresearch/ParlAI