Tokenizer 不可逆
作者: t-montes创建于 2024年10月14日更新于 2024年10月14日
在通过分词器对 `" ..."` 进行编码时,它被编码为 `" ...""(缺少一个空格),但分词器应该始终是 100% 可逆的,不是吗?
内容来源: bigcode-project/starcoder
在通过分词器对 `" ..."` 进行编码时,它被编码为 `" ...""(缺少一个空格),但分词器应该始终是 100% 可逆的,不是吗?
内容来源: bigcode-project/starcoder