python scrapy爬虫框架抓取腾讯招聘数据并入库mongoDB

明确目标：

抓取内容：职位名称、人数，类别、地点、发布时间 以及详情页面的岗位职责、工作要求

1.配置itens.py

既然以及确定目标，开始定义items.py

2.配置settings（开启piplines，写入数据库信息）

3.配置piplines

4.spider

这样整个爬虫基本就全了，剩下的cookies 和 代理ip ，这个案列就不写了

然后访问数据库