百科.dev
全部条目AI 编程趋势榜开源项目技术资讯提交条目
登录
< 返回工具列表
P

phpspider

> 开发工具
开源

《我用爬虫一天时间“窃取”了知乎一百万用户,只为证明 PHP 是世界上最好的语言》所使用的程序

3.5K stars0 点赞1 次浏览
访问官网GitHub

工具介绍

《我用爬虫一天时间“窃取”了知乎一百万用户,只为证明 PHP 是世界上最好的语言》所使用的程序

phpspider -- PHP蜘蛛爬虫框架

《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序

phpspider是一个爬虫开发框架。使用本框架,你不用了解爬虫的底层技术实现,爬虫被网站屏蔽、有些网站需要登录或验证码识别才能爬取等问题。简单几行PHP代码,就可以创建自己的爬虫,利用框架封装的多进程Worker类库,代码更简洁,执行效率更高速度更快。

demo目录下有一些特定网站的爬取规则,只要你安装了PHP环境,代码就可以在命令行下直接跑。 对爬虫感兴趣的开发者可以加QQ群一起讨论:147824717。

下面以糗事百科为例, 来看一下我们的爬虫长什么样子:

…

爬虫的整体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.

运行界面如下:

更多详细内容,移步到:

开发文档

GitHub Issues· 121 开放

在 GitHub 查看全部
  • #173

    attached_url追加字段没有用

    更新于 2025年11月9日
  • #171

    Security Issue

    更新于 2025年3月21日
  • #169

    PHP8运行官网demo报错

    更新于 2022年11月29日
  • #168

    修复7.4.16版本报错bug--修复打个tag

    更新于 2022年11月10日
  • #166

    关于分页采集 怎么搞都不对

    更新于 2022年8月11日
  • #164

    关于attached_url的bug

    更新于 2022年7月31日
  • #167

    能不能内容也 先点击一个动作,余下全文,然后再开始采集?

    更新于 2022年7月31日
  • #165

    tp5 默认会写入一下报错到日志里面

    更新于 2022年7月5日
  • #163

    用js渲染数据的页面可以抓去吗?类似vue作为前段的

    更新于 2022年6月14日
  • #162

    在用回调函数on_list_page去获得列表页数据时候,无法真正add_url

    更新于 2022年6月2日

核心特点

  • •PHP
  • •php
  • •phpspider

> 标签

PHPphpphpspider

暂无评论,来聊聊你的看法吧

> 工具信息

发布日期2026年8月1日
最后更新2026年9月17日
分类开发工具
定价开源

> 相关工具

V
VS Code
流行的开源代码编辑器
G
Git
分布式版本控制系统
V
Vite
下一代前端构建工具