众所周知，网站地图就是一个网站的一个导航，一个地图。网站地图（sitemap）列出了所有希望展示给用户或者搜索引擎的链接或者文字。

在开发爬虫系统的时候有一个很大的感触，大型网站要爬完，是很耗费时间的一个工程，需要分析出网站的所有链接，可能需要注意到这么几点：

1、分析链接是本站和其他站的；

2、分析链接是否为有效链接；

3、排除相同的链接；

4、排除分析过的链接。

搜索引擎需要面对的，可不是某一个网站，它针对全球所有公开的网站的爬取。那么搜索引擎的工作量就太大了，所以一个好的站点地图的作用是什么呢。

将网站所有需要展示的链接统一提交，这样便于加快搜索引擎获取全部网站的链接；如果网站地图文件你做成了HTML格式，你还可以充当404的展示页面，方便用户点击所需页面。