frontera

开源

一个可扩展的网页爬虫前沿

1.3K stars0 点赞0 次浏览

工具介绍

一个可扩展的网页爬虫前沿

在线运行:小批量请求,解析在获取后即完成。 - 可插拔的后端架构:低级别的后端访问逻辑与爬虫策略分离。 - 两种运行模式:单进程和分布式。 - 内置的 SqlAlchemy、Redis 和 HBase 后端。 - 内置的 Apache Kafka 和 ZeroMQ 消息总线。 - 内置的爬虫策略:广度优先、深度优先、发现 (支持 robots.txt 和 sitemaps)。 - 经过实战测试:我们最大的部署是 60 个蜘蛛/策略工作者,每天提供 50-60 万个文档,连续 45 天,无停机。 - 透明的数据流,可通过 Kafka 方便地集成自定义组件。 - 消息总线抽象,提供实现自定义传输的方式 (ZeroMQ 和 Kafka 可立即使用)。 - 可选使用 Scrapy 进行获取和解析。 - 3 条 BSD 许可,允许在任何商业产品中使用。 - Python 3 支持。