Google Adsense蜘蛛抓取的网页在搜索中出现

前两天Matt Cutts刚刚证实，Google Adsense蜘蛛(Mediapartner bot)所抓取的网页会在Google搜索中出现。Matt Cutts说这只是一个节省带宽开支的手段而已。

由于Google蜘蛛(Googlebot/2.1)所抓取的网站之多和频率之紧密，他们每天需要使用的带宽是巨量的。把Adsense蜘蛛所抓取的网站内容考虑进主搜索引擎中，一定会节省大量的带宽开支。

实际上很多人一直以来都怀疑，Adsense蜘蛛Mediapartner bot和搜索蜘蛛Googlebot/2.1之间的关系到底是什么？使用Adsense的网站会不会因此更快的被收录到Google搜索数据库？会不会因为使用Adsense而提高或降低搜索排名？

在Google的官方网站中，他们明确指出，Adsense蜘蛛与搜索蜘蛛是完全分开的，而且Adsense的使用完全不影响网站排名，这两者之间毫无关系。而且在Google内部，这两个产品是由完全不同的两个部门来处理的。他们之间并不交换任何资料。

但最近有迹象表明，Adsense蜘蛛所抓取的网页结果出现在搜索结果中。比如Jen注意到，在搜索结果中出现的网页快照时间与服务器日志文件中Adsense蜘蛛访问的时间完全吻合，而不是Google搜索蜘蛛访问的时间。

还有人在网页上检测访问的是不是Adsense蜘蛛，如果是Adsense蜘蛛，就会返回一个改写过的网页。结果发现，在搜索引擎当中网页出现了两个版本。也就是说，搜索蜘蛛和Adsense蜘蛛的网页结果都出现在搜索结果中，造成了复制网页。

我自己以前也注意到，Adsense蜘蛛至少对网页收录有影响。记得有一次在做一个全新网站的时候，我从其他网站上直接复制代码到新网页。这段代码里含有Adsense码，我忘了删除。新网站设计好后，我上传网页，然后自己看了一下，当然Adsense广告也出现在网页上。随后我把Adsense码删除掉。

这个新的网站没有任何导入链接，我也没有向任何地方登录，完全是一个试验性质的网站。但不久，网页结果出现在Google搜索中。

Google Adsense蜘蛛所抓取的网页会出现在Google搜索结果中，对网站建设者有什么影响呢？第一，我想给我们的最重要的暗示是：千万不要试图使用隐藏网页技术（cloaking），也就是当Google蜘蛛来访问时，给它经过优化的版本，当普通访客来访时，给他另外一个版本。Google完全可以发出没有Google标志的蜘蛛来检测这种手段。

实际上，Google Adsense蜘蛛的标志和搜索蜘蛛就不一样。如果你给这两个蜘蛛不同的网页内容，你的网站就会造成复制内容网页，从而排名被惩罚。

第二： Google Adsense蜘蛛对排名是否真的没有影响，我们需要做更多的测试才能肯定。

关键词： 蜘蛛 蜘蛛搜索 google搜索 网页抓取

上一篇：Google工具栏收集的数据是否被用在搜索排名算法中？

下一篇：Google排名算法中加入了更多用户行为模式