网站优化第五周:蜘蛛爬取

您已经做好了准备.但是否还存在一些妨碍网站被索引的因素？通过前面的学习，您已经对蜘蛛如何找到网站有所了解，并清楚某个着陆页面是否已经被索引。今天，您将清除横亘在蜘蛛与着陆页面之间的所有障碍。即使所有着陆页面已经全部被索引，但今天您所学习的更多关于如何取悦蜘蛛的知识，也足以使蜘蛛更频繁地抓取页面。

查看“基线月报”或者“排名跟踪工作表”，判断是否有着陆页面没有被索引。下面是蜘蛛未能到达着陆页面的可能原因以及相应的解决办法：

蜘蛛不能跟随链接  原因可能很简单，主页或者主站导航没有链接到某个或者所有着陆页面。也有可能在创建指向各个着陆页面的链接时使用了比较难以跟随的代码，比如javaScript下拉菜单或者弹出式脚本。这种情况通常比较容易处理：只需要在主页上添加标准的HTML文字链接到着陆页面就可以了。可能还需要一个网站地图，我们将在下一章涉及到这方面的内容。

没有独立的着陆页面  网站可能采用flash开发，这样一来，它实际上并不是一组独立的页面，而是一个大文件，搜索引擎很难将这样的文件作为单独的页面索引，甚至不可能分析。还有可能的是，着陆页面是动态生成的，或者是必须经过登录或者提交表单才能访问。因为蜘蛛并不会登录，也不会提交任何表单，所以它们不会找到这些页面。另外，着陆页面可能使用了框架，页面中不同的元素被分割成不同的URL，并且不可能单独链接到其中任何一个页面。

从长远来看，若有必要对整个网站进行修补，我们情愿让蜘蛛慢慢地抓取网站内容，这可能意味着要对网站结构进行调整。今天，最重要的事情是让着陆页面被搜索引擎索引。这就意味着，至少需要将着陆页面重建为完全独立的、可链接的URL。如果构建着陆页面时使用了框架，那就有很多工作要做。请准备好用彼此独立的URL重新建立页面。

网站需要浏览器提供太多功能  如果某个访问者的浏览器没有提供适当的功能，那么他将不能访问网站。蜘蛛也会遇到这种情况。如果浏览器不支持javaScript，有些网站就不能显示内容，而蜘蛛恰好就不支持javaScript！还有一些网站需要cookie，而蜘蛛恰好又不支持cookie！您需要将着陆页面上对javaScript和cookie的需求去掉。如果不确定您的网站需要什么，查看蜘蛛如何看待您的网站时，您将会对此有一个更加深刻的认识。

服务器停机中断了索引过程  可能页面链接和组织都不存在问题，但是就在蜘蛛抓取网站时，系统管理员将服务器停机，这样，蜘蛛将找不到需要建立索引的网站。这时候您将无能为力，只有等到下次再进行索引。在此等待期间，您可以考虑PPC或者付费收录推广作为弥补措施。如果这种情况经常发生，您就应该寻找另一家更加可靠的托管服务提供商。顺便说一句，这还需要在管理员尽职尽责和服务器保护措施之间寻求最佳平衡。

网站规模太大  除了着陆页面之外，您的网站可能还存在着大量其他页面。蜘蛛不会对每个网站上的所有页面都建立索引，所以在它们找到您认为最重要的页面之前，可能已经抓取了足够多的页面从而离开了。这也很容易得到修正：只需要在距离主页不超过两次点击的地方放置着陆页面就可以了。

网站不允许蜘蛛访问  这对您非常不利。下个月，我们将告诉您如何通过网站上的一个称为robots.txt的文件与蜘蛛进行交流。今天要仔细检查所有着陆页面，确保没有页面包含下面的标签：meta name="robots" content="noindex"。

网站正在接受惩罚  您有可能在不知晓搜索引擎规定的情况下违背了它。如果没有其他问题，并且绝对相信所有页面都未被索引，特别是如果您过去曾经采用了有问题的网站优化（SEO）实践的话，您就会遇到这种情况。这是一个比较难处理的情况。最好的解决办法可能就是在某个网站优化（SEO）论坛发帖子，看看社区是否能够给您一些建议。