Question

robots.txt对一个网站的影响有多大

Answer 1

robots.txt很简单，是非常非常简单。有的人不懂robots是什么，有什么用? robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。 在这里说明下，如果在网站目录下加了这个文件，搜索引擎会认为你是一个比较正规标准的站。 搜索引擎会对你有个好印象，我的论坛就有ROBOTS文件，有个前辈曾经还告诉过我，ROBOTS文件会对网站的关键词有影响，具体也没说的太清楚，例如我给我的学员用来做教程用的一个网站，ROBOTS文件是程序本来就带的，也没发现什么问题，更不用说对关键词有什么影响，切入整体，ROBOTS文件如何写! 用几个最常见的情况，直接举例说明： 1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。 2. 禁止所有SE收录网站的某些目录： User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/ 3. 禁止某个SE收录本站，例如禁止百度： User-agent: Baiduspider Disallow: / 4. 禁止所有SE收录本站： User-agent: * Disallow: / 5. 加入sitemap.xml路径。 ROBOTS的潜力到底有多大?