Question

反爬虫技术是什么

Answer 1

反爬虫技术是使用任何技术及手段，阻止被人抓取自己网站信息的一种方法，关键在于批量和减少阻止过程中的误伤。
（1、）后台对访问进行统计，单位时间内同一IP访问的次数超过一个特定的值（阀值），就封IP。效果不是很好，不过针对猜大三月爬虫效果还是不错的，目前用的也是很多的。
（2、）后台对访问的session进行统计，单位时间内同一session访问的次数超过一个特定的阀值，就封IP，同样效穗竖竖果不是很好，好的爬虫仍然能伪装的躲过。
(3、）后台对访问的User_Agent进行统计，单位时间内同一User_Agent访问的次纤念数超过特定的阀值，封IP，此法效果不过，但误伤大，任何误伤大的反爬虫机制，无论效果多好，都会被谨慎使用的。