高速高级 Web 爬虫 Ruby 框架
:mechanize 驱动程序是可选的,它作为一个兄弟依赖项一起发布,因此,如果您想使用它,请将其添加到您的 Gemfile 中:
cookie 设置一个 cookie, cookies 接收一个数组。domain 默认为爬虫的 domain:
class MyScraper "humor"
end
``` | 选项 | 描述 |
| --- | --- |
| `url` | 绝对或相对 URL, 根据当前页面进行解析 |
| `handler` | 要调用的响应方法, 默认为 `:parse`, `callback` 是一个别名 |
| `data` | 传递到响应的任意哈希, 进行深度拷贝 |
| `delay` | 覆盖爬虫对该请求的 `delay` |
| `headers` | 覆盖爬虫对该请求的 `headers` |
| `cookies` | 覆盖爬虫对该请求的 `cookies` |
| `on暂无开放 Issues,或尚未同步最近议题。