eos

作者: irasin创建于 2023年1月30日更新于 2023年9月23日

你好,请问如何判断句子生成是否已经到达结尾呢?gpt2的英语模型中,tokenizer 提供了 eos_token,可以通过该 token 判断是否停止。但是这里使用的是 Bert 的 tokenizer,没有 eos_token,该如何判断停止条件呢?

内容来源: Morizeyao/GPT2-Chinese