Question

网站上线之前需要禁止蜘蛛抓取，如何写robots文件？

Answer 1

　　禁止所有搜索引擎访问网站的任何部分
　　User-agent: *
　　Disallow: /
　　备注：robots.txt只是给蜘蛛提要求，蜘蛛还是会过来，还是会抓取，只是你要求他不会展示出来。就像淘宝也禁止蜘蛛抓取了，不是还有会有吗

Answer 2

最好是上线不限制吧，正常都是要在本地把网站搭建好，调试好，一切都完成后再上线，上线就立马引蜘蛛效果要好一些 ，实在要禁就
User-agent: *
Disallow: /