多语言语料库收集工具

目前我正在构建一个 Python 实用类,只需调用几个方法即可创建用于训练分词器的语料库。对于自然语言,它使用维基百科和新闻文章,而对于编程语言,它使用GitHub。用户可以指定语言、编程语言以及需要的数据量(以 MB 为单位),输出结果是一个单个文本文件,可用于训练分词器。该实用程序还可用于探索在训练语料库中包含更多非英语语言如何影响所得的分词器及其推理行为。 这项工作是否对其他学习分词的用户有用?是否已经有类似的工作了?

任何建议或反馈都将非常感谢。