为什么一些网站不会屏蔽搜索引擎的爬虫?
2023-04-03 · 百度认证:重庆猪八戒网络有限公司官方账号
关注
展开全部
您好!
不是一些网站不会屏蔽搜索引擎的爬虫,而是绝大部分网站都不会屏蔽的。除非你是特定行业,像淘宝就屏蔽了搜索引擎抓取内页,这个也很好理解,淘宝如果不屏蔽的话,就会造成商家的店铺以及商品被抓取,那么商家就会去做百度竞价,而不会做淘宝联盟的推广,这样淘宝岂不是得不偿失?
一般的网站都不屏蔽搜索引擎的抓取,主要是因为需要搜索引擎带来流量呀!!!!
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询