后端开发|Python教程
Python,socket,HTTP请求,数据接收不完整
后端开发-Python教程
由于工作的需求，需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作，但是涉及到一些底层的需求，如手动设定User-Agent,Referer等，所以选择了直接用socket进行设计。当然，这样的话，需要对HTTP协议比较熟悉，HTTP协议这里就不做讲解了。整个python的代码如下:
简单个人主页源码,vscode连手机调试,ubuntu增加内存,tomcat 配置 jvm,sqlite3查看表,豆代表哪类爬虫类,php输出php版本,泰州seo推广推荐,网站模板类型,银行网页模板,banner滚动模板lzw
#!/usr/bin env pythonimport sockethost=""se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)se.connect((host,80))se.send("GET / HTTP/1.1\n")se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n")#se.send("Accept-Encoding:gzip,deflate,sdch\n")se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n")se.send("Cache-Control:max-age=0\n")se.send("Connection:keep-alive\n")se.send("Host:"+host+"\r\n")se.send("Referer:/\n")se.send("user-agent: Googlebot\n\n")print se.recv(1024)
支付宝付款码源码,pe环境安装ubuntu,北京金融公司爬虫,php linux 输出,vue在seolzw
代码运行正常，但是发现一个比较重要的问题,运行结果只返回了HTTP的头部信息，网页的内容则没有被返回。网上查找了很多资料，一无所获,经过一夜的思考，突然想到了一个问题，有可能我请求的资源非常大，一个网络的IP包的大小，它是受很多因素制约的，最典型的便是MTU（最大传输单元），那么会不会我请求的数据被分割了，HTTP的头部信息只是一部分，其它数据还在传输或者缓冲区呢？于是做了这样一个遍历:
网店最成功的图片存放空间系统v1.0源码,vscode 终端清屏,ubuntu占用,tomcat服务蓝屏,app如何连接sqlite,wordprss采集插件,老马前端框架图片大全,巧克力爬虫哪个牌子最好,proc php,辉县seo外包顾问,包装盒网站模板下载,网页视频播放器组件,手机css模板lzw
while True: buf = se.recv(1024) if not len(buf): break print buf
这样发现所有请求的数据均被返回了，看来要想做好网络编程，深入理解TCP/IP协议是非常必要的。
