浅谈搜索引擎收录网页的阶段

一、大小通吃
  搜索引擎的网页抓取都是采纳(大小通吃)的战略，也即是把网页中能发现的连接逐个加入到待抓取URL中，机械性的将新抓取的网页中的URL提取出来，这种方法尽管比拟陈旧，免备案空间但作用极好，这即是为什么许多站长反响蜘蛛来访问了，但没有录入的缘由，这仅仅是第一期间。
二、网页评级
  而第二期间则是对网页的重要性进行评级，PageRank是一种闻名的连接剖析算法，能够用来衡量网页的重要性，很天然的，站长能够用PageRank的思路来对URL进行排序，这即是各位热心的(发外链)，据一位兄弟知道，在中国（发外链）这个商场每年有上亿元的规划。
  爬虫的意图即是去下载网页，但PageRank是个全局性算法，也即是当一切网页有下载完成后，其核算结果才是牢靠的。关于中小网站来讲，服务器若是质量欠好，若是在抓取过程中，只看到部分内容，在抓取期间是无法取得牢靠的PageRank得分。
三、OCIP战略
  OCIP战略更像是PageRank算法的改善。在算法开端之前，每个网页都给予一样的(现金)，每逢下载某个页面A后，A将个人的(现金)均匀分给页面中包括的连接页面，把个人的（现金）清空。国内免备案空间这即是为什么导出的连接越少，权重会越高的缘由之一。
  而关于待抓取的网页，会根据手头具有的现金多少排序，优先下载现金最富余的网页，OCIP大致与PageRank思路共同，差异在于：PageRank每非必须迭代核算，而OCIP则不需求，所以核算速度远远快于PageRank，合适实时核算运用。这能够即是为什么许多网页会呈现(秒收)的状况了。
四、大站优先战略
  大站优先的思路很直接，以网站为单位来衡量网页的重要性，关于待抓取的URL行列中的网页，根据所述网站归类，若是哪个网站等候下载的页面最多，则优先下载这些连接。月付空间免备案其本质思维是「倾向于优先下载大型网站URL」。由于大型网站往往包括更多的页面。鉴于大型网站往往是名站，其网页质量通常较高，所以这个思路尽管简略，但有必定根据。