#2302·litgpt

停止序列匹配会处理不当重叠前缀和缓冲的标记

作者: tandede创建于 2026年8月19日更新于 2026年8月19日

问题描述 generate_fn()batched_generate_fn() 为每个停止序列保留一个前缀长度,并在任何不匹配情况下将该长度重置为零。这会错过一个有效的匹配,当不匹配的标记同时也是相同序列的新出现的开始时。

内容来源: Lightning-AI/litgpt