百度蜘蛛为什么反复抓取/plus/download.php的原因解析
1个回答
展开全部
你研究过python模拟蜘蛛就明白，原理了。蜘蛛可能到你的页面有过多连接到这个页面，你在a标签加上nofollow属性，蜘蛛就不会抓取这个连接，或者在网站加上.bot文件具体写法百度一下
本回答由提问者推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
