青岛网站建设公司,青岛网站制作公司-奈薇建站网
建站咨询热线:0532-8878113113165158935 
知识普及 » 搜索引擎蜘蛛的工作过程

搜索引擎蜘蛛的工作过程

奈薇建站网 2009-12-03 14:46发表
阅读次数 2577

  搜索器在工作过程中主要需考虑以下几个问题:


  (1)Web信息的选择


  在大多数情况下,搜索器不可能搜集所有Web信息,只能选择下载其中一部分。这样,如何下载比较“重要”的Web信息就是一个很现实的问题。判断一个网页是否重要的依据主要有兴趣驱动、流行性驱动和位置驱动三个指标。


  (2)Web页面的更新频率


  当网页被下载后,搜索器应以一定的频率对全部网页进行刷新或对网页重新访问,其频率应与网页自身更新的频率相适应,但不是成正比。


  (3)减少搜索器对Web服务器的负担


  当很多搜索器在工作时,将大大消耗服务器资源,对Web服务器而言是一个不小的负担,如何减少服务器负担和避免阻塞也是设计搜索器应该考虑的问题。例如,有的搜索引擎与网站达成协议,只有在网站服务器端放置特殊标记文件,搜索器才采集,有的网站服务器按照搜索器的要求建立索引文件,搜索器只采集这个索引文件即可。


  (4)并行工作


  由于网页数量庞大,许多搜索器在多台机器上工作,并行下载网页,从而使得在最短的时间内下载更多的网页,而这些并行工作的搜索器必须协同工作,以便使得不同搜索器不会重复访问。并行工作处理的好坏,将直接影响搜索器的效率。


  目前的搜索引擎蜘蛛已经不在是以前的发现一张网页,并收录。现在网页的收录,将比以往更加严格。以前搜索引擎蜘蛛面临的问题是大部分站点的网页不太友好,不利于搜索引擎的蜘蛛爬取。而现在的问题,网页的路径很友好,但是搜索引擎蜘蛛需要分辨其价值,从而再决定要不要收录。也正是这个原因,让很多内容主要是靠采集但是网站结构很有利于搜索引擎蜘蛛爬行的网站,并没有得到搜索引擎大量收录的原因。


  通过网站结构、外部链接等因素来促进搜索引擎的收录,依然是主要的方法之一。但是相比较而言,现在搜索引擎已经不那么依赖这两者的作用了。所以对SEO来说,难度已经明显增加。



搜索引擎蜘蛛的工作过程相关标签:网络公司网络公司做网站网站搭建
相关热点推荐
新手站长做站有七大难处
企业建站策划
网站建设办法与内容要相
网页设计中涉及到的细节
DIV+CSS布局网页
从市场的角度思考网站建
网站如何定位
中小企业网站建设要多少
做网站优化需要达到的目
如何解决网站中重复度的
如何将手机网站转换为微
IE6IE7IE8中的
H5和HTML5是一回
iPadPro上线,意
网页设计离用户的距离,
普及360浏览器的极速
青岛网站制作哪家强
网页文案设计浅谈
网站的视觉路径和版式设
网站描述怎么写?
政府网站建设要按照“一
方便和实用
HTML5技术的优点和
重磅!功能型网站建设的
我国建成全球最大5G技
CMS系统的选择及对S
网站建站知识
网页顶尖设计师的思考与
新闻营销 推波助澜
网站重建如何保护已有排
中小企业如何进行网络营
网页设计的布局理念
百度《站点子链》工具开
如何设计一个漂亮又有用
用户行为语言的搜索引擎
网站离开百度该如何生存
如何提高百度收录的概率
网站风格定位如何把握
网站建设好的一些建议
青岛高端网站设计公司哪
奈薇建站网青岛网站建设公司/青岛网站制作公司,专业提供"气质"型网站建设及精美网站制作服务,同时欢迎各地网站建设公司、网站制作公司代理我们的奈薇建站系统共同发展

热点地区:青岛网站建设价格 青岛即墨网站制作公司 开发区信息港 山东在线门户
  • 备案号
  • 鲁ICP备13010283号
建站咨询热线0532-88781131 15166683288 13963906391
版权所有© BangJianZhan.Com & Nev.Cn 青岛网站建设/网站制作公司
青岛雨后网络科技有限公司 - 青岛市市北区福州北路90号,景泰尚都6层
已经为您服务了
152个月 27