gcsfuse

当前状态

流式写入是新的默认写入路径,它在写入时直接将数据上传到 Google Cloud 存储 (GCS)。以前的写入路径会暂时将整个写入操作存储在本地文件中,并在关闭或执行 fsync 操作时才上传到 GCS。这既可降低延迟,又可减少磁盘空间的使用,特别适用于大量的顺序写入,例如 checkpoint 写入,速度可提高 40%,如训练运行中观察到的情况。有关详细信息,请参阅 流式写入。

并行下载使用多个工作进程同时下载文件,并将文件缓存目录用作预取缓冲区。我们建议在单线程读取场景中使用并行下载,这些场景需要加载大型文件,例如模型服务和检查点恢复,可实现高达 9 倍的模型加载速度。有关详细信息,请参阅 使用并行下载。

GCSFuse 现在在特定高性能 Google Cloud 机器上运行时会自动优化其配置,以最大限度地提高对要求严苛的工作负载的性能,并有效利用机器的能力。在安装时手动设置的值将覆盖这些默认值。