[功能请求] 添加 ImageFolder/DatasetFolder: 逐步缓存索引,以避免全面重新扫描文件系统
作者: powerofaisinstudy-debug创建于 2026年9月6日更新于 2026年9月16日
ImageFolder 和 DatasetFolder 每次实例化时都会对目录进行全面递归扫描 (os.walk / os.scandir) ,即使磁盘上没有发生任何变化。对于大型数据集或网络挂载中的内容,这可能需要花费数分钟时间 – 每次运行都会这样。这对以下情况影响最大: 在调试期间重新启动训练脚本,在集群上被强行终止并重新启动的作业,在分布式训练中每个进程/工作节点都重新扫描相同的未变更目录,以及随着时间的推移而不断增长的数据集,没有办法在不进行全面重新扫描的情况下更新索引。
内容来源: pytorch/vision