微博爬虫及配套工具箱,一站式微博爬虫采集、分析、可视化工具。微博用户、话题、评论爬虫一网打尽;图片下载、情感分析,地理位置、关系网络、机器人识别等功能应有尽有。
项目遵循以下两个设计原则:
- 爬虫抓取的数据保存在 Excel 可以打开的 CSV 中,不依赖任何数据库。
- 每个功能 Feat 对应的爬虫文件都是相互独立的,不存在依赖关系,虽然不利于维护和重构,但是对于使用者友好。
作者 | inspurer |
---|---|
QQ交流群 | 751114777 |
个人博客 | https://buyixiao.github.io/ |
Docs | 2022 最新指南 |
---|---|
配套的自助抓取网站(顺带任意深度和广度的微博用户关系(关注/粉丝)网络构建、任意深度和广度的微博转发路径网络、微博、评论、签到等数据集在线构建)、微博 Spammer 识别 | execute data crawling without any environment setting |
配套的微博可视化网站 | https://buyixiao.github.io/blog/one-stop-weibo-visualization.html |
包含世界、中国-省-市地图和动态排序柱状图、桑基图、关系图、弦图、旭日图、树图、矩形树图等图表在线配置数据可视化工具网站 | https://tools.buyixiao.xyz/ |
微博签到相关可视化 B 站教程 | https://www.bilibili.com/video/BV1S14y1x73y |
If you use this project in your research, please cite this project.
@misc{WeiboSuperSpider,
author = {Tao Xiao},
title = {微博超级爬虫,最强微博爬虫,用户、话题、评论一网打尽。图片下载、情感分析,地理位置、关系网络等功能应有尽有。},
year = {2019},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/Python3Spiders/WeiboSuperSpider}},
}