后端开发|Python教程
Python,豆瓣,爬虫
后端开发-Python教程
抓取豆瓣电影TOP100
A、分析豆瓣top页面，构建程序结构
1.首先打开网页/top250?start，也就是top页面
然后试着点击到top100的页面，注意带top100的链接依次为
互赚互粉系统源码,ubuntu用户密码查看,数据爬虫技术招聘,php类别,seo介绍课程lzw
/top250?start=0/top250?start=25/top250?start=50/top250?start=75
社区网页源码,ubuntu下载解压工具,tomcat7 配置文件,爬虫停用词,原生php查询数据库,莱州seo优化lzw
2.然后通过查看源码，发现电影名的代码如下：
游戏源码运行不了,vscode打不了字母e,ubuntu引导设备,安装tomcat 到服务,爬虫馆宠物,php数据类型强制转换,潜江餐饮seo推广多少钱,中文网站导航haowa,下载模板打开空白lzw
肖申克的救赎
/ The Shawshank Redemption
如图，因为有一些英文名等描述，通过正则抓取有些干扰，可能还需要后续过滤。
根据以上信息，此程序主要分以下3个步骤：
B、构建url地址池
抓取top100电影名称
依次打印输出
依次写出代码
1.构建url地址池。代码如下：
import urllib2import re# ----------确定url地址池------------pre_url = /top250?start= op_urls = []# 因为top100，每页25部电影，故为4页,从零开始for num in range(4): top_urls.append(pre_url + str(num * 25))
2.抓取top100电影名称
# ------------抓取top100电影名称----------top_content = []top_tag = pile(r(.+?))for url in top_urls: content = urllib2.urlopen(url).read() pre_content = re.findall(top_tag, content) # 过滤不符合条件的list，得到最后的top100的list for item in pre_content: if item.find( ) == -1:top_content.append(item)
3.打印输出
top_num = 1for item in top_content: print Top + str(top_num) + + item top_num += 1
C、整理代码
我还是python新手，还没有太多的pythonic思想，也没有代码优化技巧，只能说是整理。
其次，个人习惯，在简单的代码里面我还是喜欢少用函数，尽量不隐藏代码的逻辑。
以下代码请参考，并欢迎提意见，希望得到大家的意见，谢谢！
整理后的代码如下：
# coding=utf-8\本代码为自动抓取豆瓣top100电影代码@pre_url url地址前缀，在这里为/top250?start=@top_urls url地址池@top_tag 为抓取电影名正则表达式\import urllib2import repre_url = /top250?start= op_urls = []top_tag = pile(r(.+?))top_content = []top_num = 1# ----------确定url地址池------------# 因为top100，每页25部电影，故为4页,从零开始for num in range(4): top_urls.append(pre_url + str(num * 25))# ------------抓取top100电影名称，并打印输出----------top_tag = pile(r(.+?))for url in top_urls: content = urllib2.urlopen(url).read() pre_content = re.findall(top_tag, content) # 过滤并打印输出 for item in pre_content: if item.find( ) == -1:print Top + str(top_num) + + itemtop_num += 1
抓取用户头像图片
import urllib.requestimport reimport time #获取输入的帖子单页htmldef getHtml2(url2): html2=urllib.request.urlopen(url2).read().decode(utf-8) return html2 #抽取图片相关列表，并下载图片def gettopic(html2): reg2=r/group/topic/\d+ topiclist=re.findall(reg2,html2) x=0 #限制下载的图片数 for topicurl in topiclist: x+=1 return topicurl #下载图片到本地def download(topic_page): reg3=r/view/group_topic/large/public/.+\.jpg imglist=re.findall(reg3,topic_page) i=1 download_img=None for imgurl in imglist:#取图片ID为文件名 img_numlist=re.findall(rp\d{7},imgurl) for img_num in img_numlist: download_img=urllib.request.urlretrieve(imgurl,D:\python\code\girls\%s.jpg\%img_num)time.sleep(1) i+=1print(imgurl) return download_img #调用函数page_end=int(input(请输入结束时的页码：))num_end=page_end*25num=0page_num=1while num<=num_end: html2=getHtml2(/group/kaopulove/discussion?start=%d\%num) topicurl=gettopic(html2) topic_page=getHtml2(topicurl) download_img=download(topic_page) num=page_num*25 page_num+=1 else: print(采集完成！)
