s3gof3r

s3gof3r 提供了对 Amazon S3 的快速、并行、流式访问。它包含一个命令行界面: gof3r。它针对将大型对象高速传输到和从 Amazon S3 中进行优化。流式支持允许使用如下方式:

• 速度: 特别是对于较大的 S3 对象而言,并行性可以得到充分利用, s3gof3r 会使 EC2 实例的带宽达到饱和。请参阅上文的基准测试。

• 端到端完整性检查: s3gof3r 在上传和下载时同时计算流的 md5 哈希值。在上传时,将包含 md5 哈希值的文件保存到 s3 中。在下载时,将对计算的 md5 进行检查。在上传时,将计算每个部分的 content-md5 并附带在标头中,以供 AWS 检查。在完成多部分上传后, s3gof3r 还会检查 S3 在 Etag 字段中返回的 hash of hashes。详细信息请参阅 S3 API 参考。

• 重试一切: 对于上传和下载,所有 http 请求和每个部分都会重试。S3 的请求经常超时,尤其是在高负载情况下,因此这对于完成大型上传或下载是非常重要的。

[ 167MB/s] [ 119MB/s]