如何将http的报头写入socketpython
0x00 起
最近在做一个对时间要求比较高的扫描器，需要封装一下SOCKET模拟HTTP发包的一些常用函数。简单的说，就是重写一下requests中的get、post方法。
今天在写的时候，遇到一枚很奇怪的问题，对同一个URL，POST请求能正常返回信息，而一旦切到GET，socket time out。
伪代码如下：
get_str = 'GET %s HTTP/1.1\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.125 Safari/537.36\r\nAccept: */*\r\n\r\n'post_str = 'POST %s HTTP/1.1\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.125 Safari/537.36\r\n\r\n%s\r\n\r\n'def get(url,port):
sock = socket.connect(url,port)
sock.send(get_str % (url, port))
response = ''
temp = sock.recv(4096) while temp:
temp = sock.recv(4096)
response += temp return response
0x10 结
心烦意乱的调了很久无果，出去吃了个饭，回来查查资料，从头开始顺了一遍，找到了bug点。原因是HTTP 1.1协议中，默认connection: keep-alive。
Connection: keep-alive 当一个网页打开完成后，客户端和服务器之间用于传输HTTP数据的TCP连接不会关闭，如果客户端再次访问这个服务器上的网页，会继续使用这一条已经建立的连接
Connection: close 代表一个Request完成后，客户端和服务器之间用于传输HTTP数据的TCP连接会关闭， 当客户端再次发送Request，需要重新建立TCP连接。
而python中的sock.recv如果接收不到数据，会等到TCP连接down掉，才会返回NULL。如果在程序中没有设置超时时间，会等到服务器主动断开连接，一般是30s~60s。
这就是造成socket timeout的原因。在http request里添加connection: close即可解决问题。但是为什么只有get受到影响，post却没有问题呢？
做了个简单的测试：
post 很快就返回了结果:
而get用了很久才返回结果，其中connection为keep-alive:
所以，之前所说的HTTP 1.1协议中，所有的请求都默认为Connection: keep-alive是错误的认识。
只有get请求会默认采取Connection: keep-alive
