上海黄浦管理系统设计团队另一方面，如果爬虫程序在爬行过程中死亡，或者爬虫所在的服务器宕机，那么健壮的爬虫应该能够：当爬虫再次启动时，它可以恢复以前捕获的内容和数据结构，而不是每次都从头开始所有工作，这也是爬虫健壮性的一个体现。

例如，在第一页和第一级页之间使用星型链接结构，在第一页和第二页之间使用树型链接结构。

更平滑的搜索引擎搜索引擎每天都在变化，每天都在爬行无数的内容和页面，并在爬行新的内容页面后更新索引库。如果页面很长时间没有更改，搜索引擎可能会对其进行索引。在库的底部，当你遇到排名瓶颈时，你也可以微调页面以吸引搜索引擎，让它再次爬行并计算排名。

在明确目的后，规划网站建设的总体设计，包括网站的风格和位置。

应用技术专业定义词汇以限制来电者