默认情况下,Robots.txt 尊重应处于开启状态

Robots.txt 根据我所看到的情况,默认情况下会被忽略: https://GitHub.com/gocolly/colly/blob/master/colly.go#L348-L354 这对站点所有者是不尊重的。没有任何好的理由让它默认情况下被忽略: - 如果是爬取你所控制的站点,那么你已经知道是否希望爬虫忽略 robots.txt 指令,并可以相应地设置标志。 - 如果是爬取别人的站点,那么你应该 **主动** 选择忽略他们的不希望被捕获材料的请求。人们特意花费精力将指令放入 robots.txt 文件(这是一个公认的标准),是出于良好的原因,人们期望合法的机器人使用会尊重这些指令。 我们刚刚有一个你的软件用户陷入了我们的垃圾邮件陷阱,因此他们的活动现在在我们服务器上的每个站点都被禁止。我怀疑这不是他们真正想要的,只是因为他们没有尊重我们的 robots.txt 文件,可能是无意中。