Question

机器人的使用必要

Answer 1

“每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt。”
关于这一点呢，我个人是不太认可的，这么多年过去了，搜索引擎没理由连这么简单的404都无法分辨出来的， 我并不是在否认这段话，
google对于一个网站的评价标准有很多， 一个网站是否存在sitemap，必然也是该站是否完整的衡量标准之一（纯属个人猜测），所以，我不认可的只是404。
此外，robots.txt可以有效的节省你的流量。
我相信很多草根站长都是从虚拟空间开始起家的，一开始的流量，带宽都是有限制的，而搜索引擎对网站的抓取必然也是要占用流量的，所以避免搜索引擎“无效的抓取”就显得十分重要了，如，缓存文件，临时文件，上传文件夹，用户中心 等feimlww1027， 屏蔽掉这些文件目录，一方面能降低流量消耗，另一方面偶尔也能保证收录的质量（临时页面如果和实际文件内容类似 搜索引擎会有点迷惑的）。