Question

请织梦高手看一下robots.txt文件对于网站抓取有影响吗

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets

还有织梦的robots.txt文件可以清空吗？

Answer 1

您好:
　　robots是一种协议，也是一种规范，robots协议是网站与搜索引擎的协议，跟其他无关，robots告诉搜索引擎哪些页面可以抓取，哪些是不能抓取的，通过这种协议，搜索引擎蜘蛛就不会抓取网站的隐私信息，如果发现网站的隐私信息在搜索结果中能查到，那就说明搜索引擎蜘蛛抓取了这些不能抓取的信息，这违背了robots协议，网站所有者可以控告搜索引擎公司要求其赔偿。

　　Robots协议在网站服务器中以纯文本robots.txt的碧吵漏形式存在，作为一个网站碰运管理员或者SEO人员该如何利用robots协议？网站管理员或网站建设人员可以利用robots规定哪些文件是搜索引擎蜘蛛可以访问抓取的，哪些是不能的悔烂，这可以很好的保护网站隐私信息。另外一个好处是可以在robots.txt文件中，直接写入网站地图sitemap的绝对路径，网站管理人员就不需要去各大搜索引擎手动提交sitemap，给网站管理人员省却了大部分工作。
　　robots可以清空在根目录直接删除就可以的。
　　建议删除可以建立一个空的robots可以这样写
　　User-agent: *
　　allow: /
　　允许搜索引擎抓取网站的任何内容
　　欢迎追问希望对你有所帮助

追问

我上面提问的这个有影响吗？百度百科我也知道，

Answer 2

没有影响，robots。txt最好不要删除！