#1174·webmagic

关于在失败后动态切换代理的问题

作者: udyk-dev创建于 2024年8月14日更新于 2024年8月15日

需求:需要在抓取数据的请求超时之后,自动切换到一个新的代理IP,因为在我们的场景中,代理IP有时效性较强,存活时间大约为2~3分钟左右。阅读了很多文档和问题后,建议采用自定义一个proxyProvider来实现动态切换代理。问题:在proxyProvider中,我如何才能知道上一次的请求已经超时了?

内容来源: code4craft/webmagic