grab

进行抓取

下载互联网,一次一个 goroutine! 要在自己的程序中使用该包: $ go get GitHub.com/cavaliergopher/grab/v3 要安装 grab 命令行下载器: $ go install GitHub.com/cavaliergopher/grab/v3/cmd/grab@latest Grab 是一个用于从互联网下载文件的 Go 包,具有以下特点: rad 特性:

• 同时监控下载进度
• 自动恢复未完成的下载
• 根据内容标头或 URL 路径猜测文件名
• 使用 context.Context 安全取消下载
• 使用校验和验证下载
• 同时下载多批文件
• 使用速率限制器 需要 Go v1.23+

示例

下面的示例将免费电子书《Go 编程入门》的 PDF 版本下载到当前工作目录中。

Grab 的目标是提供稳定、合理的默认值。这些值通常是通过使用 HTTP 规范或模仿常见 Web 客户端（如 cURL、wget 和常见 Web 浏览器）的行为来确定的。Grab 的目标是无状态。唯一存在的状态是您要下载的远程文件以及本地副本，这些副本可能已完成、部分完成或尚未创建。这种做法的优点是，本地文件系统不会被不必要的附加状态文件（如“.crdownload"文件）所混乱。这种方法的缺点是，grab 必须对本地和远程状态做出假设；具体来说，它们没有被修改过。