改进分词解码
作者: vturrisi创建于 2023年2月2日更新于 2023年2月7日
目前,分词器的解码方法只支持一次处理一个实例。我认为应该添加 `batch_decode` 函数,并支持 huggingface 中的 `skip_special_tokens` 和 `clean_up_tokenization_spaces`。
内容来源: mlfoundations/open_clip
目前,分词器的解码方法只支持一次处理一个实例。我认为应该添加 `batch_decode` 函数,并支持 huggingface 中的 `skip_special_tokens` 和 `clean_up_tokenization_spaces`。
内容来源: mlfoundations/open_clip