Question

为什么写爬虫都喜欢用 python

Answer 1

具体原因如下：

1、抓取网页本身接口

相比其他静态编程语言，如java、c#、c++，python抓取网页文档的接口更简洁，相比其他动态脚本语言，如shell、perl，python的urlib2包提供了较为完整的访问网页文档的api，当然，ruby也是很好的选择。

抓取网页有时需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。

这是我们需要模拟user
agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

2、网页抓取后的处理

抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。

python语言在linux上很强大，语言也非常简单。

快速开发：唯一能和python比开发效率的语言只有rudy，语言简洁，没有那么多技巧，所以读起来也更容易。

跨平台：由于python的开源，它比java更能体现“一次编写到处运行”。

解释性：无须编译，直接运行/调试代码。

构架选择太多：gui构架方面，主要的就有wxpython、tkinter、pygkt、pyqt。

Answer 2

因为python是脚本语言，编写调试方便，而且学习起来也不难。
另外python相关的类库也比较丰富。