SSLError 请求异常,SSL错误,证书认证失败问题解决
在爬取某些网站时,会发现如下报错:
#请求脚本from lxml import etreeimport osimport requestsheaders = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",}url = '/index.html'response = requests.get(url, headers=headers)content = response.content.decode('gbk')
#报错信息SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)
解决方式:
第一种解决方式:
将https请求改为http请求,或许可能成功解决
from lxml import etreeimport osimport requestsheaders = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",}url = '/index.html'response = requests.get(url, headers=headers)content = response.content.decode('gbk')
有的电脑上第一次执行有效,再次执行还报错。
第二种解决方式:
增加参数:verify=False 可成功解决
from lxml import etreeimport osimport requestsheaders = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",}url = '/index.html'response = requests.get(url,verify=False, headers=headers)content = response.content.decode('gbk')
可成功得到content内容,但是结果中出现了一些warning信息,看着很不爽。继续尝试解决。
解决warning信息:
方法一:
调用关闭警告信息的方法:
#实际含义就是在requests下的urllib3不显示警告信息requests.packages.urllib3.disable_warnings()
方法二:
直接调用urllib3的disable_warnings(),代码如下:
import urllib3urllib3.disable_warnings()
方法三:
调用logging的captureWarnings()方法,传入True,关闭提示,代码如下:
import logginglogging.captureWarnings(True)
以上三种方式目的只是为了不显示warning信息而已,而warning信息不会对爬虫产生任何影响。