eos
Author: irasinCreated Jan 30, 2023Updated Sep 23, 2023
你好,请问一下如何判断句子的生成已经达到结尾了呢?gpt2的英语模型中,tokenizer提供了eos_token,可以通过该token判断是否停止。但是这里是用Bert的tokenizer,没有eos_token,该如何判断停止条件呢?
Source: Morizeyao/GPT2-Chinese
你好,请问一下如何判断句子的生成已经达到结尾了呢?gpt2的英语模型中,tokenizer提供了eos_token,可以通过该token判断是否停止。但是这里是用Bert的tokenizer,没有eos_token,该如何判断停止条件呢?
Source: Morizeyao/GPT2-Chinese