澳门游戏网站

seo优化企业:爬虫质量的评价标准

发布时间:2019-08-16 浏览次数:2600

  爬虫质量的评价标准

  如果从搜索引擎用户体验的角度考虑,对爬虫的工作效果有不同的评价标准,其中最主要的 3 个标准是:抓取网页的覆盖率、抓取网页时新性及抓取网页重要性。如果这 3 方面做得好,则搜索引擎用户体验必定好。

seo优化企业

  对于现有的搜索引擎来说,还不存在哪个搜索引擎有能力将互联网上出现的所有网页都下载并建立索引,所有搜索引擎只能索引互联网的一部分。而所谓的抓取覆盖率指的是爬虫抓取网页的数量占互联网所有网页数量的比例,覆盖率越高,等价于搜索引擎的召回率越高,用户体验越好。

  索引网页和互联网网页对比

  抓取到本地的网页,很有可能已经发生变化,或者被删除,或者内容被更改,因为爬虫抓取完一轮需要较长的时间周期,所以抓取到的网页当中必然会有一部分是过期的数据,即不能在网页变化后第一时间反应到网页库中。所以网页库中过期的数据越少,则网页的时新性越好,这对用户体验的改善大有裨益。

  如果时新性不好,搜索到的都是过期数据,或者网页被删除,用户的内心感受可想而知。

  互联网尽管网页繁多,但是每个网页的差异性都很大,比如来自Tencent、网易资讯的网页和某个作弊网页相比,其重要性犹如天壤之别。如果搜索引擎抓取到的网页大部分是比较重要的网页,则可以说明在抓取网页重要性方面做得比较好。这方面做的越好,则越说明搜索引擎的搜索精度越高。

  通过以上 3 个标准的说明分析,可以将爬虫研发的目标简单描述如下:在资源有限的情况下,既然搜索引擎只能抓取互联网现存网页的一部分,那么就尽可能给选择比较重要的那部分页面来索引;对于已经抓取到的网页,尽可能快的更新内容,使得索引网页和互联网对应页面内容同步更新;在此基础上,尽可能扩大抓取范围,抓取到更多以前无法发现的网页。

  3 个“尽可能”基本说清楚了爬虫系统为增强用户体验而奋斗的目标。

  大型商业搜索引擎为了满足 3 个质量标准,大都开发了多套针对性很强的爬虫系统。以谷歌为例,至少包含两套不同的爬虫系统:一套被称为Fresh Bot,主要考虑网页的时新性,对于内容更新频繁的网页,目前可以达到以秒计的更新周期;另外一套被称之为Deep Crawl Bot,主要针对更新不是那么频繁的网页抓取,以天为更新周期。

  除此之外,谷歌投入了很大精力研发针对暗网的抓取系统,

TAG标签: seo优化企业
澳门游戏网站
澳门游戏网站是值得信赖的澳门游戏网站企业。多年来持续为众多企业提供澳门游戏网站,澳门游戏网站,澳门游戏网站,网站设计,小程序开发,营销型澳门游戏网站,H5响应式网页设计等互联网业务已经有16年之久,让企业与用户快速连接起来。
阅读推荐
关闭

在线留言

XML 地图 | Sitemap 地图