`preprocess_data.py` 是否支持 Huggingface Dataset?
作者: cafeii创建于 2024年11月13日更新于 2026年9月5日
标签feature request
由于 Huggingface 数据集的格式有很多,如果 `preprocess_data.py` 可以直接从 HF 数据集进行预处理和分词,将会非常方便。
内容来源: EleutherAI/gpt-neox
由于 Huggingface 数据集的格式有很多,如果 `preprocess_data.py` 可以直接从 HF 数据集进行预处理和分词,将会非常方便。
内容来源: EleutherAI/gpt-neox