对于非英语语言,LLM 的表现更差

Andrej 在他的 YouTube 视频中指出，LLM 在非英语语言方面表现较差，部分原因是 token 化。基本上，对于代表性较低的语言，即使频繁出现的字符对在语料库中也出现得不那么频繁，因此 BPE 会对这些语言进行较少的合并，它们的 token 表示会变得很长。难道不应该为每种语言单独构建 token，并针对不同的领域（例如 Python 代码）进行标记吗？