meta robots标签

    Meta Robots标签有三个组成部分：cache(快照)、index(索引)和follow(跟踪)。cache指示搜索引擎是否可以在搜索引擎公开索引库中保存页面，保存的页面可以通过搜索结果页面中的快照链接访问。

    第二个，index，告诉搜索引擎是否允许页面被爬行和存储。标记为NoIndex的页面会被搜索引擎完全排除在外。默认值是index，告诉搜索引擎：“是的，请爬行这个页面并包括在你的索引库中”。因此这指令并不用放在每个页面上。

    页面还会被爬行，还可以积累和传递链接权重到其他页面，但是不会在搜索引擎索引中出现。

    最后一个meta robots标签是follow，和index一样，这个指令默认值代表“是的，爬行这个页面上的链接并传递链接权重。”用NoFollow告诉搜索引擎页面上的链接不应该传递链接权重或被爬行。总体来说，使用这个指令防止链接被爬行并不明智，因为用户还是可以访问这些页面，并且可以从其他网站链接向这些页面，NoFollow不能限制爬行或蜘蛛访问。它唯一的作用是防止链接权重散布出去，这很少有可以被应用的地方，因为2005年推出的NoFollow属性允许在单个链接上使用这个指令。

    在页面上使用NoFollow meta标签时，搜索引擎还会爬行页面，将页面放入索引。但是所有链接都不能传递链接权重到其他页面。

    NoIndex的一个应用是，把这个标签放在HTML网站地图页面上。这些页面用来给用户提供导航帮助，使搜索引擎能够有效找到网站内容。然而，在一些网站上，这些页面本身不太可能获得搜索引擎排名，但你还是希望它们能够传递链接权重到所链接的页面。在这些页面中放上NoIndex将使HTML网站地图不会被索引，从而消除了这个问题。要确保页面不要使用NoFollow meta标签，页面上的链接也不要使用NoFollow属性，因为这将阻止页面传递链接权重。