牛刀小试——爬虫:
在前一头条理解爬虫的原理之后,我们来看看如何用python写一个爬虫吧。
接下来,我们来学习爬虫中最常用的发起请求的第三方库——requests。
下面是requests的中文文档页面
(网页链接)。
(图一)
在我们的教学环境中已经提前安排好了requests库,如果我们想在自己的电脑上安装,可以通过在命令行中输入pip install requests安装。
Tips:如果你的电脑上没安装 Python,或者不知道具体如何安装requests库。
请查看该文章:网页链接。
requests.get() 方法
我们从爬虫的第一步获取数据开始,我们来看个例子:
(图二)
我们使用requests.get(‘网站地址’)方向对应的网站发起了请求,然后我们将返回的结果存到了变量res中供后续使用。它的类型是response对象,后面是200是状态码,我们后面再细说。
这样我么就发起了一次请求,并将服务器的响应结果存到变量当中,requests.get方法的作用如下图所示:
(图三)
编程练习
我们学会了requests.get的基本用法,接下来我们将下面的代码敲一遍,亲自动手运行一下试试吧!
(图四)
下一期将开始response对象
关于response的四个常用属性,敬请期待哦。