Scrapy爬取新浪微博用户信息 用户微博及其微博评论转发

项目介绍

新浪微博是国内主要的社交舆论平台，对社交媒体中的数据进行采集是舆论分析的方法之一。

本项目无需cookie，可以连续爬取一个或多个新浪微博用户信息、用户微博及其微博评论转发。

实例

选择爬取的用户：/u/5806943776 ID 是5806943776

抓取用户信息

scrapy crawl user

抓取用户微博

scrapy crawl mblog