Question

什么是robots.txt文件？在网站优化中有什么作用

Answer 1

robots.txt 也就 robots协议，是搜索引擎中访问网站的时候要查看的第一个文件。通过robots.txt文件告诉搜索引擎蜘蛛哪些页面可以抓取，哪些页面不能抓取。

Answer 2

robots文件是一个搜索引擎协议，在网站优化中还是有不错的帮助！

1. 屏蔽死链

2. 帮助搜索引擎抓取

可以看看文章的介绍robots文件对于优化的帮助

http://www.chengjv.com/youhua/20171023489.html

Answer 3

ftp默认进去的并不是网站根目录，一般的服务器会有www这个目录，这个目录下存放着所有的网站程序文件，这个才是网站的根目录
或者说将robots.txt文件放在你的网站首页文件同一个目录下，网站首页文件一般是index、default命名的