Java无框架实现爬取知乎用户信息、图片和知乎推荐内容并下载到本地或数据库中
爬取知乎20万用户信息并用Echarts展示 详情地址:https://zhuanlan.zhihu.com/p/24973518 展示地址:http://kkys.online/zhihu/spider.html 目录:src/main/java/java/zhiHuUserSprider
添加爬取京东所有商品 目录:src/main/java/java/JDCrawler
添加爬取某话题下精华问题中第一个用户的信息 利用JDBC把信息导入本地或远程数据库中 用来进行数据分析或数据挖掘 并且优化了代码,层次更加清晰
原生Java无框架无jar包 实现爬取知乎问题中的图片和知乎推荐内容 并下载到本地 通俗易懂,简介明了,可扩展性更高
#ZhiHuSpider结构介绍
zhihu 早期爬虫
JDCrawler 爬取京东商品信息
zhihuUser 爬取知乎百万级用户信息
#想法与问题...
报No subject alternative DNS name matching错的兄弟
把url里的https,手动改成http就好已实现爬取万级数据爬虫,下一步往分布式上靠吧.
No open issues yet, or sync has not completed.