在静态页面上使用动态参数,会造成spider多次和重复抓取,这是什么意思啊
1个回答
2016-07-26
展开全部
这个意思就是,如果你在一个静态的网站页面上面使用了动态页面的参数蜘蛛就会多次或者重复的抓取这个页面。
PS:soider(搜索引擎的蜘蛛(爬虫)),静态页面和动态页面的区别详情见附件
Storm代理
2023-08-29 广告
2023-08-29 广告
"StormProxies是全球大数据IP资源服务商,其住宅代理网络由真实的家庭住宅IP组成,可为企业或个人提供满足各种场景的代理产品。点击免费测试(注册即送1G流量)StormProxies有哪些优势?1、IP+端口提取形式,不限带宽,I...
点击进入详情页
本回答由Storm代理提供
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询