百科.dev
全部条目在线工具AI 编程趋势榜开源项目技术资讯提交条目
登录
< 返回工具列表
T

taobao_bra_crawler

> 编程语言
开源

一只太宝网爬虫只是为了好玩.

199 stars0 点赞0 次浏览
访问官网GitHub

工具介绍

一只太宝网爬虫只是为了好玩.

taobao_bra_crawler

a taobao web crawler just for fun.

说明

淘宝文胸商品评论内容爬取与简单分析。

商品评论数据

下载地址

百度云链接: https://pan.baidu.com/s/19S5ziVX8kXhk7LtgKn94qw 密码: fmgy

Google Drive链接:https://drive.google.com/file/d/1fJtXqDtuFVL7d61GkfL3pr2wDvMzKgJx/view?usp=sharing

导入数据

bash
mongoimport -d taobao -c rates  --file ./rates.dat

爬虫部署

互联网时代的网站富于变化,爬虫今天可能正常明天可能就不能用了,如果爬虫无法使用请通过百度云盘链接导入数据。

部署环境

测试环境:腾讯云主机一台

操作系统:ubuntu-14.04

数据库: mongodb

安装依赖

bash
pip install -r requirements.txt

修改配置文件

python
config = {
    'timeout' : 3,
    'db_user': '',
    'db_pass': '',
    'db_host': 'localhost',
    'db_port': 27017,
    'db_name': 'taobao',
    'use_tor_proxy': False,
    'tor_proxy_port': 9050
}

说明:一般的爬取速度不会有禁IP的情况。

运行爬虫

bash
python crawler/item_crawler.py      # 爬文胸的商品信息
python crawler/rate_crawler.py      # 爬文胸的评论信息

数据处理

简单统计与可视化展示

1. 运行脚本

bash
cd simple_analyzer
python simple_analyzer.py               # 简单统计
cp bra.json data_visualization/static/  # 拷贝统计结果

2. 运行网页显示

bash
cd data_visualization
npm install     # 安装依赖
npm run dev     # 进行调试
npm run build   # 生成dist

效果展示

见: http://nladuo.github.io/bra

关键词分析

运行脚本

bash
cd keyword_analyzer
python create_corpus.py     # 1.加载评论信息
python extract_tags.py      # 2.提取关键词(20分钟左右, 可以直接用我的模型进行第三步)
python create_wordcloud.py  # 3.生成词云图片

效果

参考

  • Python pytagcloud 中文分词 生成标签云 系列(一)
  • 利用pandas+python制作100G亚马逊用户评论数据词云

LICENSE

MIT

Issues· 0 开放

查看全部 Issues在 GitHub 打开

暂无开放 Issues,或尚未同步最近议题。

> 标签

Python

暂无评论,来聊聊你的看法吧

> 工具信息

发布日期2026年8月1日
最后更新2026年9月18日
分类编程语言
定价开源

> 相关工具

T
TypeScript
JavaScript 的超集,为前端与全栈提供静态类型
P
Python
通用编程语言,广泛用于 Web、数据与 AI
G
Go
Google 推出的简洁高效系统语言