Question

网站地图需要写入robots.txt文件吗?到底是什么意思？求解答

网站地图已经上传在在服务器里面了，好像听说还要在robots.txt文件里面写什么东西，没有明白

Answer 1

robots.txt是写给搜索引擎看的，搜索引擎抓取网站的时候先爬行robots.txt文档，看哪些文件是禁止抓取的；里面也可以禁止某一个或一些搜索引擎抓取你的网站，例如淘宝禁止百度抓取它的网站内容。