Question

爬虫ip怎样不容易被识别

Answer 1

代理IP对于爬虫运行来说至关重要，如果离开代理IP直接进行爬虫爬取的话很容易就会被封禁IP，而且如果用户没有正确设置代理和管理爬虫，同样也会遇到代理IP不断被阻止的情况。实际上在我们日常使用时，有许多种方法都可以帮助我们防止代理IP被限制：

1. 使用用户代理库

HTTP请求标头当中往往包含大量有关用户正在使用的设备的信息。因此，如果来自不同IP的请求源头却指向同一个用户代理，那么目标服务器就可以轻松判断出问题。而使用用户代理库，就可以绕开这种限制。

2.使用安全地点的住宅代理

服务器通过IP地址很容易判断访问者来自哪个国家/地区。因此为了不引起怀疑，最好使用目标服务器所在位置的代理IP。

3.遵守Robots.Txt和使用条款

每个站点都有其注册的规则robots.txt和使用条款。通常，这些规则概述了访问者可以使用哪些内容以及如何使用。此外，robots.txt还可以控制爬虫程序及其允许访问的页面。用户如果选择尝试绕过限制的话，很有可能会遇到更为强力的反制措施。

4.设置请求数量限制

如果用户的爬虫以极快的速度发送请求，目标服务器很容易就会检测到此活动并加以限制，因为大多数服务器都受到DDoS攻击的保护，而发送大量请求的爬虫看起来像是试图进行攻击的不法分子。

5.设置原生Referrer来源

Referrer类似于用户代理，它也会向目标服务器提供有关用户的信息。不同之处在于，Referrer会向网站服务器透露用户的来源。没有引荐来源的流量显示为直接流量，从而引起网站服务器的注意。因此空的引荐来源网址可能成为目标服务器阻止用户的IP的原因。