Question

python 爬虫入门问题Crawler?Scrapy?模块urlib?requests?

它的英文是Crawler还是Scrapy？百度过Scrapy好像是一个框架，想知道爬虫的英文好GOOGLE啊！也百度过爬虫入门教程，之前看过一个视频是用模块requests，个人感觉也是相当的简洁和高效率，但百度过爬虫的教程都是教学urlib的，找不到requests的？怎么回事，是我理解错了吗？爬虫一定要用urlib?求解！！！！

Answer 1

因为urllib 是python自带的库，requests是第三方的，功能类似urllib。scrapy 是个爬虫框架，如果你是入门爬化建议还是先学点python基础。至于爬虫requests可以，scrapy也可以。主要还是懂原理，http 协议和ajax，反扒的机制等等

Answer 2

不是，只要是实现了http协议的库都可以用，这样的库有很多款，核心功能都是差不多的。
Scrapy是框架，框架是半成品，可以让你用很小的代码量做更多的事情。

Answer 3

你可以看一下python的爬虫框架scrapy，这里面已经包含了写爬虫的大部分功能，自己只需要编写两三个模块，就可以完成一个爬虫。如果解决了您的问题请采纳！如果未解决请继续追问！

Answer 4

所谓爬虫，就是将网页下载到本地，然后进行分析提取数据。

知乎 有个不错的答案
http://www.zhihu.com/question/20899988
关于爬虫入门的回答 很详细了~~~~

Answer 5

一般都是可以的。不过大多初学会用urlib。