#875·colly

克隆的收集器继承了 checkRedirectFunc(因此它使用父对象的 AllowURLRevisit)

作者: gabrielbergoc创建于 2026年5月29日更新于 2026年5月29日

嘿伙计们, 很棒的包, 我已经使用了一段时间了。 我的一个抓取器在一夜之间发生故障, 出现了"已访问"错误, 但我在开发过程中就已经遇到这个问题了, 将其 `AllowURLRevisit` 设置为 `true` 就解决了这个问题。 在调试时, 我注意到 `checkRedirectFunc` 中的 `Collector` 设置为 `false`, 并且我发现这是父级 `Collector`, 我从中克隆了多次访问同一 URL 的那个。 我查看了源代码, `Clone` 函数并没有更新 `HttpClient` 的 `CheckRedirect` 函数, 所以这似乎就是问题所在。 最后一颗棺材钉是将父级的 `AllowURLRevisit` 设置为 true, 并再次看到错误消失了。