from bs4 import BeautifulSoup #网页解析，获取数据
import re #正则表达式，进行文字匹配
import urllib.request,urllib.error #制定URL，获取网页数据
import xlwt #进行excel操作
defmain():
baseurl= "/top250?start="
#1.爬取网页
datalist =getData(baseurl)
savepath= "豆瓣电影Top250.xls"
#3.保存数据
savaData(datalist,savepath)#askURL("/top250?start=")
#影片详情链接的规则
findLink = pile(r'') #创建正则表达式对象，表示规则(字符串的模式)#影片图片链接的规则
findImgSrc = pile(r'
findTitle = pile(r'(.*)')#影片评分
findRating = pile(r'(.*)')#找到评价人数
findJudge = pile(r'(\d*)人评价')#找到概况
findInq = pile(r'(.*)')#找到影片的相关内容
findBd = pile(r'
(.*?)
',re.S)#爬取网页
defgetData(baseurl):
datalist=[]for i in range(0,10): #调用获取页面信息的函数，10次
url = baseurl + str(i*25)
html= askURL(url) #保存获取到的网页源码 返回值的保存
#2.逐一解析数据
soup = BeautifulSoup(html,"html.parser")for item in soup.find_all('div',class_="item"):#print(item) #测试：查看电影item全部信息
data = [] #保存一部电影的所有信息
item =str(item)#影片详情的链接
link = re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串
data.append(link) #添加链接
imgSrc =re.findall(findImgSrc,item)[0]
data.append(imgSrc)#添加图片
titles = re.findall(findTitle,item) #片名可能只有一个中文名，没有外国名
if(len(titles) == 2):
ctitle=titles[0]
data.append(ctitle)#添加中文名
otitle = titles[1].replace("/","") #去掉无关的符号，替换为空
data.append(otitle) #添加外文名
else:
data.append(titles[0])
data.append(' ') #外文名没有则留空，防止被下一列内容占掉
rating =re.findall(findRating,item)[0]
data.append(rating)#添加评分
judgeNum =re.findall(findJudge,item)[0]
data.append(judgeNum)#添加评价人数
inq =re.findall(findInq,item)if len(inq) !=0:
inq= inq[0].replace("。","") #去掉中文句号
data.append(inq) #添加概述
else:
data.append(" ") #如果没有概述，则留空占位
bd =re.findall(findBd,item)[0]
bd= re.sub('
(\s+)?'," ",bd) #去掉
bd = re.sub('/'," ",bd) #替换/
data.append(bd.strip()) #去掉前后的空格
datalist.append(data)#把处理好的一部电影信息放入datalist
print(datalist)returndatalist#得到指定一个URL的网页内容
defaskURL(url):
head= { #模拟浏览器头部信息
"User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWe"
"bKit / 537.36(KHTML, likeGecko) Chrome / 78."
"0.3904.108Safari / 537.36"}#用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器(本质上是告诉浏览器，我们可以接收什么水平的文件内容)
request = urllib.request.Request(url,headers=head)
html= ""
try:
response=urllib.request.urlopen(request)
html= response.read().decode("utf-8")#print(html)
excepturllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)returnhtml#3.保存数据
defsavaData(datalist,savepath):print("saving...")
book= xlwt.Workbook(encoding="utf-8",style_compression=0) #创建workbook对象
sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True) #创建工作表
col = ("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息")for i in range(0,8):
sheet.write(0,i,col[i])#列名
for i in range(0,250):print("第%d条"%(i+1))
data=datalist[i]for j in range(0,8):
sheet.write(i+1,j,data[j]) #数据
book.save(savepath) #保存
if __name__ == "__main__":
main()print("爬取完毕")
