Question

如何确定一个python爬取得网页是否是被压缩的

Answer 1

在浏览器中 Accept-Encoding:gzip, deflate, sdch 在告诉网站浏览器支持gzip， deflate， sdch 这三种压缩方式。也就是说这不代表网站支持的压缩方式，而是代表浏览器支持的压缩方式。
网站会选择其中一种支持的压缩方式返回，压缩方式为 Content-Encoding 的值。浏览器会根据这个值来选择对应的解压方式。