Question

浅谈搜索引擎怎样抓取你的网页

Answer 1

　　前一阵在点石论坛上就看到关于在百度大量点击搜索颤袭亮结果中自己的网站，从而进一步提高排名的讨论。其逻辑是，搜索结果中的某个网站被点击次数越多，说明越有用，用户越喜欢，搜索引擎会更进一步提高这个网站的排名。
　　不过这种用户行为方式是噪声很大的数据，极容易作弊。搜索引擎要在这些数据中提炼出精华非常困难。
　　前几天Google员工JohnMu就在Google帮助论坛里明确说，诸如点击某个网站，然后立即点返回按钮，这种操作并不会影响你网站的抓取、索引和排名。这太容易作弊，太容易被竞争对手利用了。
　　类似这种看似很有价值，却又很难提炼有用信息的数据还很多。比如给竞争对手网站群发垃圾链接。
　　给对手群发也是如此，关键在于判别是谁群发。
　　我以前写过一篇无所遁形，更多属于科幻和瞎想。但谁敢肯定有朝一日，在网上通过基因来判断身份不会实现呢?20年前，如果谁跟我讲会有互联网，会有网站，会有SEO，那时候我也会觉得是科幻。
　　现在搜索引擎其实已经掌握了大量的数据，能帮助鉴别用户身份。比如Google就可以通过cookies，JS脚本，工具条，gmail帐号，Adsense帐号，Google Analytics帐号，IP地址，用户搜索数据等判定和鉴别用户身份。
　　一个用户如果登录过gmail帐号，再访问任何带有Adsense，Google Analytics，以及Google所能控制的任何JS脚本的网页，这些访问数据都将被记录在案。而带有Google JS脚本的网站禅迟现在多如牛毛，除了明显的Adsense，Google Analytics等，现在Google还收购了最大的网络广告公司DoubleClick，无数有广告的网站都在使用Google的代码。所以你在网上的一举一茄宽动，很难逃过Google的眼睛。
　　如果安装了Google的工具条，那你访问网站的情况就更一目了然了。
　　就算你能极端洁身自好，不露痕迹，既不登录任何Google帐号，浏览器关掉JS脚本功能，也不用工具条。总之你就是个隐身人，也还是不能保证搜索引擎就抓不到你。
　　比如说，如果你通过一个联盟买卖链接，这是Google很痛恨的事情。就算你能做到隐身，但你无法保证这个联盟里的其他人都能不露痕迹。如果这个链接买卖联盟里面的一些人暴露了身份，而这些人时不时访问一下你的网站，检查他们所买的链接，你的网站和你自己也就露馅了。