Question

robots.txt协议 全站动态页面屏蔽代码怎么回事啊？

http://www.ghwykj.com/robots.txt





• 你的回答被采纳后将获得：
• 系统奖励15（财富值+成长值）+难题奖励30（财富值+成长值）+提问者悬赏50（财富值+成长值）

Answer 1

　　如何避免内容被重复收录
找到了问题的根源，接下来便是解决问题的时候，那么如何解决如此现象呢，其实也很容易：
A：URL标准化，B：利用robots.txt进行屏蔽动态文件
A：在网站建设过程中尽量统一URL地址，勿使用动态页面进行链接，一来是搜索引擎青睐静态页面，另一方面也防止了相同内容被搜索引擎重复收录的结局。
B：利用robots.txt进行动态文件的屏蔽，如：“Disallow: /*?*”说明：如此屏蔽法适合在不存在“TAG标签”下利用，否则标签也将被屏蔽。不过屏蔽可灵活运用，在不同的程序下，不同屏蔽即可。robots.txt文件的规范性。许多同学估计在开头就没有进行空格。这个空格在哪里呢？例如，robots.txt文件的开头：
“User-agent: *
Disallow: /plus/ad_js.php”
很多的时候，user-agent分号后面没有空格，而是直接“*”号了。这就是一个很微小的错误，但是也是致命的错误。
要注意的是，我们知道php动态页面都是从数据调用的数据，而这个网页不是真实存在的，所以搜索引擎久而久之就会丢弃这样的页面，它会认为这是不可靠的页面。所以我们要屏蔽这样的动态页面，从而降低我们网页的重复页面。那么我们只要在robots.txt文件里面，加上这样的代码就行了："Disallow:/*?*”。这个代码的意思是根目录下个所有动态禁止搜索引擎访问。
网站建设与优化严把细节优化，内容重复收录是大患，应认真对待，否最终难以逾越排名障碍。（怎样写robots屏蔽动态页面，防止内容被百度等搜索引擎重复收录）