Question

Python与爬虫有什么关系？

Answer 1

爬虫一般是指网络资源的抓取，因为python的脚本特性，python易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起。 简单的用python自己的urllib库也可以;用python写一个搜索引擎，而搜索引擎就是一个复杂的爬虫。从这里你就了解了什么是Python爬虫，是基于Python编程而创造出来的一种网络资源的抓取方式，Python并不是爬虫。
Python为什么适合些爬虫?
1)抓取网页本身的接口
相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁;相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
2)网页抓取后的处理
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.

Answer 2

题主你好,

首先python是一门语言,同常见的java,c,c++,javascript是一类东西,这一点通过问题可以看出题主应该是知道的.

题主之所以这样提问感觉关键是没有搞清 "爬虫"的概念.

"爬虫" 和QQ,微信等一样, 它本质就是一个程序,只是因为你设计的这个程序是从互联网上往回下载(或叫抓取)数据,因此管它叫"爬虫". 这么解释不形象, 更形象一点的是把互联网想像成一张大的蜘蛛网,你的程序就像蜘蛛(爬虫)一样,从这张大网上下载数据,因此管这类程序叫做"爬虫".

总结: 回到题主的问题,"Python与爬虫的关系": python是实现爬虫的一种工具. 再举例,比如说假如QQ是用C++写的, 你问C++与QQ的关系,答案是C++是实现QQ的一种工具.

*.所以说其它语言也可以写"爬虫", 网上之所以把"爬虫"和python放在一起说, 可能python可用的相应库比较丰富或者好用吧.

-----

希望可以帮到题主, 欢迎追问.

Answer 3

您好,Python本质上与爬虫没有什么关系，主要是因为Python最近流行所以六和爬虫联系在一起了，Python能做的其他语言也能做

Answer 4

爬虫并不是Python语言的专利，Java、Js、C、PHP、Shell、Ruby等等语言都可以实现，那为什么Python爬虫会这么火？我觉得相比其他语言做爬虫Python可能就是各种库完善点、上手简单大家都在用，社区自然活跃，而社区活跃促成Python爬虫慢慢变成熟，成熟又促使更多用户来使用，如此良性循环，所以Python爬虫相比其他语言的爬虫才更火。

Answer 5

没什么必然的关系，只是有一些爬虫是用Python写的而已，但是也可以用其他语言写爬虫。