一站式代理爬虫和聚合平台
一个强大的免费代理池构建工具,通过爬取多个平台/网页的代理资源,自动验证、聚合并转换为各种客户端所需格式。
VMess | Trojan | SS | SSR | Snell | Hysteria2 | VLESS | Hysteria | TUIC | AnyTLS | HTTP | SOCKS
完整功能版本 - 支持复杂配置、多源爬取、自定义规则
# 1. 准备配置文件
cp subscribe/config/config.default.json my-config.json
# 2. 设置环境变量
export PUSH_TOKEN=your_github_token
# 3. 运行处理
python subscribe/process.py -s my-config.json
适用场景:
简化版本 - 快速收集机场订阅
# 直接运行,自动收集并上传到 Gist
python subscribe/collect.py \
-g username/gist-id \
-k your-github-token \
-t clash v2ray singbox
适用场景:
可前往 Issue #91 获取现成的共享订阅,量大质优。请勿浪费
graph LR
A[开始] --> B{选择方式}
B -->|简单| C[collect.py]
B -->|完整| D[process.py]
C --> E[自动收集机场]
E --> F[注册账号]
F --> G[获取订阅]
G --> H[验证代理]
H --> I[上传到Gist]
D --> J[加载配置]
J --> K[多源爬取]
K --> L[聚合处理]
L --> M[质量检测]
M --> N[格式转换]
N --> O[推送存储]
process.py 配置:
…
环境变量:
export PUSH_TOKEN=your_github_token
# 快速收集(推荐新手)
python subscribe/collect.py -g username/gist-id -k token
# 完整处理(推荐进阶)
python subscribe/process.py -s config.json
# 仅检查代理活性
python subscribe/process.py -s config.json --check
# 高性能模式
python subscribe/process.py -s config.json -n 128
| 文档 | 说明 | 适用人群 |
|---|---|---|
| 完整文档 | 详细配置说明 | 进阶用户 |
| English Docs | English version | International users |
| 问题 | 解决方案 |
|---|---|
| 配置文件错误 | python -m json.tool config.json 验证语法 |
| Token 无效 | 检查 GitHub Token 权限和有效期 |
| 网络超时 | 增加超时 -t 15000 或减少线程 -n 16 |
| 无代理输出 | 检查爬取源配置和网络连接 |
拥有灵活的插件系统,支持自定义爬取目标。欢迎贡献高质量的爬取插件!
ICrawler、IStorage、IConverter 等核心接口BaseCrawler、BaseStorage、BaseConverter 抽象基类感谢以下组织的赞助支持:
感谢所有为项目贡献代码、提出建议和报告问题的开发者们!
暂无开放 Issues,或尚未同步最近议题。