Question

网站robots文件里默认的都是这些，请问这些都是不要被收录的，为什么所有的网站都默认这些

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets

Answer 1

　　你用的应该是开源程序，这个程序在设置开发时，他们弄的，你可以不用去管，如果你还有其他需要不收录的地方，可以在下面继续添加就可以。
　　希望，能给你带来些帮助！

Answer 2

用的是dedecms吧（织梦）。开源程序设置好的，大家使用这一套程序，当然一个样了。别的程序就不一样了，因为网站内的文件名称就不可能一样。