crawler-user-agents

crawler-user-agents

此仓库包含由机器人、爬虫和蜘蛛使用的 HTTP 用户代理的列表，以单个 JSON 文件的形式存储。

• NPM 包: https://www.npmjs.com/package/crawler-user-agents>
• Go 包: https://pkg.go.dev/github.com/monperrus/crawler-user-agents>
• PyPi 包: https://pypi.org/project/crawler-user-agents/> 每个 pattern 是一个正则表达式。它应该与您喜欢的正则表达式库一起正常工作。

赞助商

在商业产品中使用爬虫用户代理吗? 此包可免费使用,但需要花费真实的时间来维护和扩展。如果它提供了价值(很可能是如此),请考虑 在商业级别赞助。 它保持项目的活力并得到积极维护。您的公司可以承担得起它。

安装

直接下载

直接从这个仓库下载 crawler-user-agents.json 文件。