Question

网络爬虫程序的爬虫的设计中应该注意的问题

Answer 1

第一个问题是URL地址的标准化：在WWW上，一个URL地址可以有多种表示方法，可以用IP地址表示，也可以用域名来表示。为了避免爬虫重复访问同一地址。第二个问题是避免掉进网络陷阱：网络上的链接情况比较复杂，一些静态的网页可能构成闭环回路。为了避免爬虫在一条循环路线上反复抓取，在把URL加入待搜索地址列表之前都要检查是否已在待搜索的地址列表中出现过。对于动态网页，爬虫应该忽略所有带参数的URL。第三个问题：对于拒绝访问的页面，爬虫应该遵从“漫游拒绝访问规则”。

Answer 2

1. 不要盗取别人网站中的信息.

2. 注意别人的爬取规则.

3. 不要重复爬取.

4. 不要影响人家的服务器.

5. 只要是机器,比人快,效能就是最好的原则.

6. 注意爬取信息的对象与集磊分类,便可以更准确的获取有用的信息.

7. 就目前而言,好似没有会遵守规则的爬取者.