Question

怎样判断爬虫IP是否会被封

Answer 1

【优质爬虫代理IP提供商—巨量HTTP】

封禁爬虫 IP 的方式因网站和反爬虫策略而异，以下是一些常见的方法和提示：

1，访问频率：如果你的爬虫在短时间内发送了过多的请求，那么可能会被封禁。因此，在编写爬虫时，需要控制访问频率，不要过于频繁地访问同一个页面或同一个网站。

2，访问时段：有些网站会在高峰时段加强反爬虫措施，比如早上9点到晚上9点，这些时段的访问量很高，如果你的爬虫在这些时段频繁访问网站，可能会被封禁。

3，请求头信息：在发送请求时，需要设置请求头信息，一些网站会根据请求头中的信息来判断是否为爬虫。因此，需要模拟真实用户的请求头信息，包括 User-Agent、Referer、Cookie 等。

4，IP 地址：如果你使用的是公共的 IP 地址，那么可能会和其他爬虫共享这个 IP，如果其他爬虫被封禁，那么这个 IP 也会被封禁。因此，建议使用私人代理或者 VPN 来避免 IP 被封禁。

5，访问状态码：如果你频繁地访问一个页面，而且每次返回的状态码都是相同的，比如 404 或 503，那么可能会被封禁。

如果你的爬虫被封禁了，可以尝试使用不同的 IP、修改请求头信息、降低访问频率等方法来避免被封禁。

Answer 2

1、设置putty

打开putty，找到左侧的SSH，选择Tunnels，然后在Source。

在port上填写你想要的口号，然后在Add下面选择Dynamic。现在你的机器127.0.0.1:端口号(例如127.0.0.1:999，当然可以用localhost代替127.0.0.1)代理服务器。设置后，需要用putty登录服务器，保持登录状态。然后安装浏览器代理服务器即可。

2、设置FireFox

工具、选项、高级、网络在SOCKS主机上填写本机IP和刚才设置的代理端口号即可。

这样设定后，浏览器打开站点显示服务器的IP，直接使用浏览器访问站点，可以打开对方的站点，不代理就可以打开说明你的IP被站点封锁。如果你的服务器在国外也可以访问国外的网站，不会被切断。如果你想访问像facebook这样的大型网站，需要设置dns。在浏览器分析站点时，使用服务器dns，输入Firefox的地址栏。

about:config。

找到network.proxy.socks_remote_dns，双击改为true即可。该选项是使用远程代理服务器分析DNS，避免DNS欺骗。

以上就是判断爬虫ip被封的方法，我们在使用爬虫代理时，因为一些没有留意到的因素，会导致账号被封，就可以使用本篇的方法。爬虫代理建议结合代理ip，如果大家想测试使用下，可以尝试 太阳http代理ip ，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决： ip