内容传送和搜索蜘蛛控制

    隐藏页面和内容传送
    在我们讨论以隐藏页面为基础的做法的内附和潜在益处之前，请先了解页面的原理。

    多变量和A/B测试
    测试登录页面转化需要对不同访问者显示不同内容。在这种情况下，最好使用JavaScript/Cookie/Session显示内容，给搜索引擎一个不会每次爬行时都变化的页面规范化版本。谷歌也提供一个称为Google Website Optimizer的软件实现这个功能。

    需要注册的内容和第一次点击免费
    如果强制用户注册才能访问内容，最好对已登录用户和未登录用户保持同样的URL，给未登录用户和搜索引擎显示一个摘要。如果你想显示完整内容给搜索引擎，可以使用一些内容传送规则，例如新访问者没有注册之前可以访问最初一至两页内容，过了这个宽限期后就要求注册，同时显示完整内容给搜索引擎。

    在这种情况下，你也可以选择参与谷歌的第一次点击免费计划。只要点击搜索结果的用户能够免费访问第一篇文章，网站就可以将付费或需要登录的内容显示给谷歌蜘蛛。很多著名网站发布商使用这项技术，包括热门网站ws818.com。

    更明确地说，要实施第一次点击免费，发布商必须允许谷歌蜘蛛访问他们想要被索引的所有内容，即使用用户通常需要登录才能盾到这些内容，访问网站的用户还是需要登录，但是搜索引擎蜘蛛不需要。这将导致在适当的时候网站内容会在搜索引擎结果中出现。然而，如果一个用户点击搜索结果来到你的网站，你必须允许他访问整篇文章。一旦用户点击访问网站上的另一篇文章，你可以要求他登录。

    搜索引擎不能爬行的导航
    如果俗乐的导航是Flash、JavaScript、Java或其他不能爬行的格式，应该考虑给搜索引擎显示一个可以爬行抓取的HTML内容版本。很多网站简单地通过CSS层显示一个人可见搜索引擎不可见的层，和一个给搜索引擎的层。也可以使用noscript标签，虽然这通常危险性更大，因为很多作弊者使用noscript隐藏内容。Adobe最近发布了一个SEO与Flash门户，提供搜索引擎确认的帮助Flash文件被发现的最佳实践。小心确保搜索引擎可见层显示的内容与人可见层的内容是本质相同的。

    复制内容
    如果一个页面内容的很大一部分是复制的，可以考虑将它放在一个通过robots.txt文件禁止爬行的是iframe中，限制蜘蛛访问。这确保你可以给搜索引擎显示独特页面，同时避免复制内容问题。