pretraining hubert 时的 CPU OOM

你好,我在训练 Hubert 时遇到了 CPU 内存 OOM 问题。问题在于 fairseq/data/audio/hubert_dataset.py 中的 load_label_offset 和 load_audio 会一次性将所有数据加载到一个列表中。对此有什么好的解决方案吗?我大约有 2 亿个数据项。