gocrawl

gocrawl 是一个礼貌、轻巧且并发的 Web 蜘蛛，使用 Go 语言编写。如果您想要使用更符合 Go 语言风格的、更简单但更灵活的 Web 蜘蛛，可以看看 fetchbot，这是一个基于 gocrawl 经验的包。

• 完全控制要访问、检查和查询的 URL（使用预初始化的 [goquery][] 文档）
• 根据主机应用的爬虫延迟
• 遵守 robots.txt 规则（使用 [robotstxt.go][robots] 库）
• 使用 goroutine 并行执行
• 可配置的日志记录
• 开放、可自定义的设计，提供执行逻辑中的钩子

要安装旧版本,您需要将 git clone https://github.com/PuerkitoBio/gocrawl`` 克隆到 $GOPATH/src/GitHub.com/PuerkitoBio/gocrawl/目录,然后运行 (例如)git checkout v0.3.2以检出特定版本,并运行go install` 以构建和安装 Go 包。

• 2021-05-19：使用 Go 模块来依赖。标记 v1.1.0。 * 2019-07-22：使用预编译的匹配器来处理 goquery（感谢 @mikefaraponov）。标记 v1.0.1。 * 2016-11-20：修复日志消息，使其打印队列中的 URL（感谢 @oherych）。标记为 v1.0.0。 * 2016-05-24：在重定向时将 *URLContext.SourceURL() 和 *URLContext.NormalizedSourceURL() 设置为原始 URL（参见 [#55][i55]）。感谢 GitHub 用户 [@tmatsuo][tmatsuo]。 * 2016-02-24：始终使用 Options.UserAgent 来发送请求，只在 robots.txt 策略匹配时使用 Options.RobotUserAgent。稍微优化了代码，提供了更好的 godoc 文档。 * 2014-11-06：更改 net/html 的导入路径为 golang.org/x/net/