多个爬虫之间共享一个并发预算

作者: vdusek创建于 2026年8月7日更新于 2026年8月7日
标签enhancementt-tooling

每个爬虫都会构建自己的 `AutoscaledPool` 和 `SystemStatus`, 因此一个进程中的多个爬虫会过度使用主机资源 - 没有办法限制它们的总并发量。JS v4 将扩展逻辑分离成一个 `ConcurrencySystem`, 可以一次构建并传递给多个爬虫。

内容来源: apify/crawlee-python