百科.dev
全部条目在线工具AI 编程趋势榜开源项目技术资讯提交条目
登录
< 返回工具列表
C

crawlee

> 测试质量
开源

Crawlee - 一个用于 Node.js 构建可靠爬虫的 Web 抓取和浏览器自动化库。在 JavaScript 和 TypeScript 中,提取用于 AI、LLM、RAG 或 G 的数据。

25.1K stars0 点赞4 次浏览
访问官网GitHub

工具介绍

Crawlee - 一个用于 Node.js 构建可靠爬虫的 Web 抓取和浏览器自动化库。在 JavaScript 和 TypeScript 中,提取用于 AI、LLM、RAG 或 G 的数据。


一个 Web 爬虫和浏览器自动化库

您的爬虫将看起来像人类,即使使用默认配置,也能躲开现代机器人保护。Crawlee 为您提供了爬取网页链接、提取数据并将其存储到磁盘或云端的工具,同时还可根据项目需求进行配置。 > Crawlee 需要 **Node.js 16 或更高版本**。

Issues· 139 开放

查看全部 Issues在 GitHub 打开
  • #3722

    重新考虑 RequestManagerTandem 的命名

    t-tooling更新于 2026年9月24日
  • #4135

    编写自适应爬虫指南

    t-tooling更新于 2026年9月22日
  • #1726

    KeyValueStore.getInput() 没有正确地记录在文档中

    documentationt-tooling更新于 2026年9月22日
  • #4142

    `IBrowserPool.closePage`: 说明 `error` 实际表示什么

    t-tooling更新于 2026年9月22日
  • #4141

    在 4.0 之前决定 `ContextPipelineInterruptedError` 的公共状态

    t-tooling更新于 2026年9月22日
  • #2786

    AddRequest 应支持二进制 Buffer 有效负载

    featuret-tooling更新于 2026年9月18日
  • #4146

    `keepAlive` JSDoc 指向 `stop()`,这是一个脚枪

    t-tooling更新于 2026年9月18日
  • #4145

    `BrowserFetchHttpClient`: 使用已登录的页面作为 HTTP 客户端

    t-tooling更新于 2026年9月18日
  • #4144

    将文档存储后端装饰作为自定义存储的方式

    t-tooling更新于 2026年9月18日
  • #4143

    已退役的命名会话无法替换,但会话指南中提到可以替换

    t-tooling更新于 2026年9月18日

> 标签

TypeScriptapifyautomationcrawlercrawling

暂无评论,来聊聊你的看法吧

> 工具信息

发布日期2026年8月1日
最后更新2026年9月30日
分类测试质量
定价开源

> 相关工具

J
Jest
JavaScript 测试框架
P
Playwright
现代端到端测试框架
E
eslint-plugin-test-selectors
Enforces that data-test-id attributes are added to interactive DOM elements (JSX) to help with UI testing. JSX only.