Question

爬虫都可以干什么？

Answer 1

python是一种计算机的编程语言，是这么多计算机编程语言中比较容易学的一种，而且应用也广，这python爬虫是什么意思呢？和IPIDEA全球http去了解一下python爬虫的一些基础知识。

一、python爬虫是什么意思

爬虫：是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

即：打开一个网页，有个工具，可以把网页上的内容获取下来，存到你想要的地方，这个工具就是爬虫。

Python爬虫架构组成：

1.网页解析器，将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。

2.URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。

3.网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)

4.调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。

5.应用程序：就是从网页中提取的有用数据组成的一个应用。

二、爬虫怎么抓取数据

1.抓取网页

抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，比如模拟用户登陆、模拟session/cookie的存储和设置。

2.抓取后处理

抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。上文介绍了python爬虫的一些基础知识，相信大家对于“python爬虫是什么意思”与“爬虫怎么抓取数据”有一定的的认识了。现在大数据时代，很多学python的时候都是以爬虫入手，学习网络爬虫的人越来越多。通常使用爬虫抓取数据都会遇到IP限制问题，使用高匿代理，可以突破IP限制，帮助爬虫突破网站限制次数。

Answer 2

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

网络爬虫是一种程序,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站.样子好像一只大蜘蛛.

当人们在网络上(如google)搜索关键字时,其实就是比对数据库中的内容,找出与用户相符合的.网络爬虫程序的质量决定了搜索引擎的能力,如google的搜索引擎明显要比百度好,就是因为它的网络爬虫程序高效,编程结构好.

Answer 3

　　网络爬虫，即Web Spider，是一个很形象的名字。
　　把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
　　网络蜘蛛是通过网页的链接地址来寻找网页的。
　　从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，
　　然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
　　如果把整个互联网当成一个请叫我汪海网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
　　这样看来，网络爬虫就是一个爬行程序，一个抓取网页的程序。
　　网络爬虫的基本操作是抓取网页。

Answer 4

简单来讲就是自动化收集网站上的信息。

1. 把别人网站上的数据拿下来，放到自己家公司网站上，如小说网，把别家的小说爬下来，放自己网站上。如抢票，飞机票你信息等，把官网的数据拿下来放自己网站上。

2.取数做分析，或各种使用，比如，把股票网站的数据拿下来，作数据分析。

3.实现批量上传下载等。

Answer 5

就是爬取站点信息的虚拟蜘蛛，简单来讲就是软件下载的一个过程