600字范文,内容丰富有趣,生活中的好帮手!
600字范文 > python爬虫报错:不信任证书问题的解决

python爬虫报错:不信任证书问题的解决

时间:2019-06-21 13:40:18

相关推荐

python爬虫报错:不信任证书问题的解决

SSLError 请求异常,SSL错误,证书认证失败问题解决

在爬取某些网站时,会发现如下报错:

#请求脚本from lxml import etreeimport osimport requestsheaders = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",}url = '/index.html'response = requests.get(url, headers=headers)content = response.content.decode('gbk')

#报错信息SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)

解决方式:

第一种解决方式:

将https请求改为http请求,或许可能成功解决

from lxml import etreeimport osimport requestsheaders = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",}url = '/index.html'response = requests.get(url, headers=headers)content = response.content.decode('gbk')

有的电脑上第一次执行有效,再次执行还报错。

第二种解决方式:

增加参数:verify=False 可成功解决

from lxml import etreeimport osimport requestsheaders = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",}url = '/index.html'response = requests.get(url,verify=False, headers=headers)content = response.content.decode('gbk')

可成功得到content内容,但是结果中出现了一些warning信息,看着很不爽。继续尝试解决。

解决warning信息:

方法一:

调用关闭警告信息的方法:

#实际含义就是在requests下的urllib3不显示警告信息requests.packages.urllib3.disable_warnings()

方法二:

直接调用urllib3的disable_warnings(),代码如下:

import urllib3urllib3.disable_warnings()

方法三:

调用logging的captureWarnings()方法,传入True,关闭提示,代码如下:

import logginglogging.captureWarnings(True)

以上三种方式目的只是为了不显示warning信息而已,而warning信息不会对爬虫产生任何影响。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。