#1321·gpt-neox

`preprocess_data.py` 是否支持 Huggingface Dataset?

作者: cafeii创建于 2024年11月13日更新于 2026年9月5日
标签feature request

由于 Huggingface 数据集的格式有很多,如果 `preprocess_data.py` 可以直接从 HF 数据集进行预处理和分词,将会非常方便。

内容来源: EleutherAI/gpt-neox