html可以写屏蔽爬虫代码么。 屏蔽搜索引擎的
4个回答
展开全部
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
对url加密可以么，有些网站内容链接地址非常诡异，我记得淘宝卖手机部分的链接就是这样的，当时想拿爬虫去爬但不知道怎么下手。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
robot.txt
追问
不使用robots.txt!!!
追答
使用动态语言，存一个robot库，
useragent是robot,就显示一个空白页。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
<meta name="ROBOTS" content="NOARCHIVE" />
加入这个
加入这个
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
更多回答（2）
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
