XML网站地图

　　谷歌、雅虎和微软都支持一个被称为XML网站地图的协议。谷歌于2005年最先发布，然后雅虎和微软于2006年也同意支持这个协议。可以用网站地图协议给搜索引擎提供一个你希望它们爬行和索引的所有URL列表。

　　在网站地图文件中加入一个URL并不保证这个URL一定会被抓取和索引，但是它可以使原来无法被搜索引擎发现和索引的页面被爬行及索引。另外，网站地图似乎也能帮助被降级到谷歌补充材料索引库的页面重返主索引库。

　　(1) 对搜索引擎通过正常爬行已经知道的页面来说，它们可以使用你提供的元数据来改善对网站的爬行，比如内容最后被修改的日期及网页变化频率。
    (2) 对那些搜索引擎不知道的页面，它们使用你提供的额外URL提高爬行覆盖面。
    (3) 对含有重复内容的URL，搜索引擎可以使用XML网站地图数据帮助选择一个规范化版本。
    (4) 注册和验证XML网站地图可能代表着下面信息/权威信息
    (5) 网站地图的爬行/收录好处可能带来第二层下面影响，例如排名改进或者更高的内部链接流行度。

　　在网上论坛里以GoogleGuy为名的谷歌工程师用下面这种方式解释谷歌网站地图。

　　设想一下你有页面A、B和C，我们通过沿着链接的正常爬行找到了页面A和B。然后你建了一个网站地图，列出页面B和C,现在页面C也有了机会被抓取。我们不会因为你没在网站地图中列出页面A就把这个页面删除。我们也不保证因为你列出一个我们以前不知道的页面就一定会抓取它。但是如果由于某种原因我们没看到任何连向页面C的链接，或者虽然我们知道页面C但是因为URL有太多参数或其他原因而被拒绝，现在至少有个机会让我们会抓取页面C。

　　网站地图使用简单的XML格式。对你的网站来说，XML网站地图是一个有用的，有时候甚至是至关重要的工具。尤其是如果你有理由相信网站没有被充分收录时，一个XML网站地图可以帮你提高被索引页面数。网站越大，XML网站地图文件的价值就越高，新包括的URL会带来额外流量。