Question

如何应对网络爬虫带来的安全风险

Answer 1

网络爬虫在一些情况下可能会带来安全风险，例如恶意爬虫可能会对网站进行恶意攻击或者盗取用户信息。为了应对这些安全风险，网站可以采取以下措施：1. 验证码：通过在网站中添加验证码，可以有效防止大规模的自动化爬取。验证码可以要求用户输入一些难以识别的字符或者进行简单的数学计算，以验证用户的真实性。2. IP限制：可以通过限制同一IP地址的访问频率来防止爬虫的大规模访问。可以设置一个阈值，当同一IP地址在短时间内访问次数超过阈值时，可以暂时禁止该IP地址的访问。3. User-Agent识别：通过识别User-Agent字段，可以判断请求是否来自于爬虫。可以根据User-Agent字段中的信息，对不同的爬虫进行不同的处理，例如限制访问频率或者禁止访问。4. Robots.txt文件：通过在网站根目录下添加Robots.txt文件，可以告诉爬虫哪些页面可以被访问，哪些页面不可以被访问。爬虫可以根据Robots.txt文件中的规则来判断是否可以访问某个页面。5. 反爬虫策略：可以通过一些技术手段来防止爬虫的访问，例如动态生成页面、使用Ajax加载数据、对敏感数据进行加密等。这些策略可以增加爬虫的难度，从而降低爬虫的效率。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据，八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置，帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情

Answer 2

我们的网站上或多或少存在一些页面涉及到网站的敏感信息不希望在搜索引擎上公开；还有一些页面是根本没必要被搜索引擎收录的：比如网站的管理后台入口。对于SEOER而言有一些页面如果被收录后反而会影响关键词着陆页的排名，或者降低了着陆页的转化率，比如电子商务网站的商品评论页。那么我们通过什么样的方法可以限制搜索引擎收录此类页面呢？
1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。这个协议既非法律，也非命令，而是一个自律性的契约，需要各种搜索引擎自觉去遵守这个协议。这个协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
当一个网络爬虫访问一个站点时它会首先检查该站点根目录下是否存在robots.txt；如果没有对网站的robots协议进行设置，则爬虫会尽可能的收录所有能够访问到的页面，而如果存在该robots协议文件，爬虫则会遵守该协议，忽略那些不希望被抓取的页面链接，下面我们以http://www.baidu.com/robots.txt为例：
User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
百度是不希望谷歌搜索引擎的Googlebot爬虫收录/baidu 、/shifen 、/homepage/ 、/cpro 目录下以及所有/s开头的搜索结果页面的。
User-agent:表示爬虫的名字
Allow:表示允许爬虫访问的页面
Disallow:是指禁止爬虫访问的页面
Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL
Request-rate: 用来限制URL的读取频率
除了上述robots.txt文件之外，我们还可以针对每一个页面，在网页的原信息中设置该页面是否允许被收录：
noindex: 不索引此网页
nofollow:不通过此网页的链接索引搜索其它的网页
none: 将忽略此网页，等价于“noindex，nofollow”
index: 索引此网页
follow:通过此网页的链接索引搜索其它的网页
all: 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
举例 〈meta name= “ Baiduspider ” content= “ none" /〉 是不允许百度蜘蛛索引该页面，并且不允许爬行该页面中的所有链接。
还有一种方法，就是在超级链接的rel属性中填写“nofollow”,形如 〈a rel=”nofollow” href=”*”〉 超级链接 〈/a〉 ，表示搜索引擎不要跟踪链接。
但是所有上述方法都是基于Robot的自律性协议，并非强制执行的法律法规。如果遇到不遵守该协议的网络爬虫疯狂的抓取网站页面并对网站性能产生了严重影响，更为有效的方使用入侵检测系统（IDS）入侵防护系统（ IPS ）网络设备。