Easy to use lightweight web crawler(易用的轻量化网络爬虫)
Gecco 是一款易于使用的轻量级 Web 蜘蛛,使用 Java 语言开发。Gecco 集成了 jsoup、httpclient、fastjson、spring、htmlunit、redisson 等优秀的框架,让您只需配置一系列 jQuery 风格的选择器,即可非常快速地编写蜘蛛。Gecco 框架具有出色的可扩展性,基于开放与封闭的设计原则,可通过修改封闭部分,扩展开放部分。同时,Gecco 还基于非常开放的 MIT 开源 协议,无论您是用户还是希望共同改进 Gecco 的开发者,都欢迎提出拉取请求。如果您喜欢这款蜘蛛框架,请 点赞或拉取!
httpclient、jsoup、fastjson、reflections、cglib、rhino、log4j、jmxutils、commons-lang3
…DynamicGecco 的目的是在不定义 SpiderBean 的情况下实现爬虫规则的运行时配置。实际上,其原理是利用字节码编程,动态生成 SpiderBean,同时还通过自定义 GeccoClassLoader 实现规则的热部署。下面是一个简单的示例,更复杂的示例可以参考下面的 com.geccocrawler.gecco.demo.dynam 类。
暂无开放 Issues,或尚未同步最近议题。