支持在负载数据集中存储云

作者: lhoestq创建于 2022年11月22日更新于 2026年9月17日

标签enhancementgood second issue

做这些会很好

2zz

data files=['s3://.]#或gs://或任何云存储路径
存储 选项={...}
加载入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入入出出出出出出入入入入入入入入出出出出出出出出出出出出入入入入入出出出出出出出出出出出出入出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出

其想法是使用 " fsspec " ,如 " save to disk " 和 " save to disk " 。

已经要求了好几次。有些用户想用私人云存储器的数据来训练模型

有关:

https://GitHub.com/huggingface/datasets/issues/3490 (中文(简体) ). https://GitHub.com/huggingface/datasets/issues/5244 (中文(简体) ). [论坛](https://discuss.huggingface.co/t/how-to-use-s3-path- with-load-dataset- with-streaming- true/25739/2) (中文(简体) )

内容来源: huggingface/datasets

查看 GitHub 原文在 GitHub 查看讨论