怎样写robots.txt,才能不让爬虫抓取某个文件夹中的其中一个文件？
文件夹blog该文件夹内文件photo.asp和journal.asp、speak.asp、dy.asp我想让爬虫抓取photo.asp和journal.asp，只屏蔽s...
文件夹blog
该文件夹内文件photo.asp和journal.asp、speak.asp、dy.asp
我想让爬虫抓取photo.asp和journal.asp，只屏蔽speak.asp和dy.asp
怎么写robots.txt？ 展开
该文件夹内文件photo.asp和journal.asp、speak.asp、dy.asp
我想让爬虫抓取photo.asp和journal.asp，只屏蔽speak.asp和dy.asp
怎么写robots.txt？ 展开
展开全部
robots.txt
这只是网页开发者写的一个robots协议,我们爬虫可以遵守也可以不准守说白了只是个声明罢了
你要真要写就
User-agent: *
Disallow: 一般是接口,或者网页文本的匹配格式
这只是网页开发者写的一个robots协议,我们爬虫可以遵守也可以不准守说白了只是个声明罢了
你要真要写就
User-agent: *
Disallow: 一般是接口,或者网页文本的匹配格式
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
