Question

有人了解百度或者谷歌的爬虫吗

Answer 1

1. 每个网站都有一个“爬虫协议”，至少大型网站都会有。

   根据百度百科：

   Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
   越是大型网站，Robots协议越规范，他们为了提高自己在搜索结果的位置，会针对百度、谷歌等搜素引擎写爬虫协议，而百度等搜索引擎不需要特别针对这些大网站写协议
   换个角度想，大的搜索引擎就那几个，而所谓“大网站”数不胜数，怎么可能写的过来？

2. 如果你没能理解这部分内容，说明你还处在“菜鸟”级别。一般的爬虫算法是：先查找新地址，用队列或者堆栈来存储新增加的url；然后用爬虫程序从队列或者堆栈中取地址，继续爬虫。因为这两方面程序执行的速度是不一样的，不是说找到一个url就能立即爬完，或者有时候还没找到新url就已经爬完了，所以分了两个结构。

   一般的程序中都会用多个函数来执行一个过程，但这在新手的学习中是不常见到、也是不易搞懂的。

3. 鉴于你提出的问题，我觉得你不到能搞通爬虫程序的阶段，建议你还是从简单的程序开始。看看这个编程语言入门经典100例【Python版】，希望对你有帮助
   地址：
   http://www.cnblogs.com/CheeseZH/archive/2012/11/05/2755107.html

Answer 2

1. 否
   

2. 很否则 但不是你说的那样 具体只有google知道

3. 去看scrapy