XML网站地图

搜索引擎都支持一个被称为XML网站地图的协议。可以用网站地图协议给搜索引擎提供一个你希望它们爬行和索引的所有URL列表。

在网站地图文件中加入一个URL并不保证这个URL一定会被抓取和索引，但是它可以使原来无法被搜索引擎发现和索引的页面被爬行及索引。另外，网站地图似乎也能帮助被降级到搜索引擎补充材料索引库的页面重返主索引库。

这个协议是搜索引擎正常基于链接的爬行的补充，而不是替代品。网站地图的好处包括：

一、对搜索引擎通过正常爬行已经知道的页面来说，它们可以使用你提供的元素数据来改善对网站的爬行，比如内容最后被修改的日期及网页变化频率。

二、对那些搜索引擎不知道的页面，它们使用你提供的额外URL提高爬行覆盖面。

三、对含有重复内容的URL，搜索引擎可以使用XML网站地图数据帮助选择一个规范化版本。

四、注册和验证XML网站地图可能代表着正面信任/权威信号。

五、网站地图的爬行/收录好处可能带来第二层正面影响，例如排名改进或者更高的内容链接流行度。