访问网站的蜘蛛

我们曾经讨论着陆页面在搜索引擎上的索引情况。稍微侦查一下，您就能够判断搜索引擎蜘蛛是否访问过自己的网站，执行下面的步骤：

(1)首先，找出您有兴趣监控的搜索引擎蜘蛛的名称。，但是要做好存在变种的心理准备。
(2)然后，检查网站的统计程序。查找名为“user agents”、“robots”或者“browsers”。
(3)根据您的统计程序的复杂程度，您或许能够指定某个日期范围并查看蜘蛛的访问。您或许甚至能够精确地看到网站内的哪些页面被访问过。

如果觉得这些工作太单调的话，您或许希望寻找能够提供操作比较简单但是对蜘蛛访问的报告比较详细的软件。Robot manager就是一个类似的程序，可以在www.websitemanagementtolls.com上找到它。