fetchbot

fetchbot()()()()

fetchbot 包提供了一种简单而灵活的 Web 蜘蛛，它遵循 robots.txt 策略和爬虫延迟。它非常类似于 gocrawl，具有更简单的 API、更少的内置功能，但同时更具灵活性。对于 Go 本身，有时候更少就是更好！

安装

• 2019-09-11 (v1.2.0): 更新 robotstxt 依赖项 (导入路径/仓库 URL 已更改,问题 #31,感谢 [@michael-stevens][michael-stevens] 提出此问题)。