青岛网站建设公司,青岛网站制作公司-奈薇建站网
建站咨询热线:0532-8878113115166683288 
知识普及 » SEO技巧,爬虫及网页文本

SEO技巧,爬虫及网页文本

奈薇建站网 2009-10-18 21:21发表
阅读次数 3196

  链接结构和爬虫爬行范围


  如果希望网站能够吸引新的访问者,在网站设计过程中,网站设计者们应考虑商业引擎网络爬虫的工作原理。关于商业引擎网络爬虫工作原理的具体细节,外人知道得很少,但可以从其一般工作原理中获得几点启示。


  网络爬虫是沿着从网页文本中提取出来的链接爬行的,任何一个网站都应含有足够的链接,以便爬虫能够发现该站点所有的网页。更具体的讲,爬虫很可能从网站的首页开始爬行,因此,网站首页上的链接应能够指向该网站所有的网页。另外,这些链接必须包含在网页的HTML中,且是标准的HTML(如,使用锚点标签),因为爬虫可能识别不了其他格式的链接,包括JAVA或JavaScript格式。


  许多网站从未被任何搜索引擎发现过,网站设计者们应该确保他们的网站能够让搜索引擎的“爬虫”发现。某些搜索引擎有URL提交功能,即允许设计者们将其网站的URL提交到爬行列表中,所有的主流搜索引擎都有这一功能;有些搜索引擎虽没有此功能,但如果已经被索引过的网站中有指向未被索引到的网站的链接,那么顺着链接,爬虫也能爬取该网站。因此,对于新网站而言,应该确保至少有一个已经被主流搜索引擎索引到的网站链接到该网站。


  搜索引擎程序如何解析网页文本


  一个网页中的文本对搜索引擎来说,比对用户更为重要。网页中的文本与链接主题无关,但可以给出一些网站的总体印象,这些网站里有些内容不愿被搜索引擎索引到,所以,在设计时专门提防着搜索引擎。此时,需要区分“爬行”和“索引”这两个概念。爬行一个网站是指沿着链接访问该站点上所有的页面,且一般会为这些网页保存一个复本。索引则是爬行的下一个阶段,即将网页文本存人到一个特殊的“倒排文档”数据库中,利用“倒排文档”数据库,可以快速搜索到与用户查询相匹配的页面。标准搜索引擎一般只索引网页文本,而忽略图片和其他多媒体信息。因此,讨论搜索时就应该区分文本和图片。


  用户在访问网站的时候,从图片中获得的信息比从文本中获得的信息更直观。举一个极端的例子,一个来自知名公司的图标放在页面中显眼的位置,就足以说明该网页是该公司的。相反,搜索引擎则是忽略所有图片的,至少在从网页中提取信息时是这样的。如果一个网页上都是鞋子的图片,但其文本中却没有一个“鞋”字,那么,搜索引擎不知道这个页面是关于鞋子的。这就说明,网站的设计者们需要确保页面中含有描述该站点主题内容的词语。


  一些更聪明的方法可以用来帮助搜索引擎来判定该页面是关于鞋子的。Google首先提出了这样的方法:如果有其他页面链接到含有鞋子图片的页面,且锚文本中也提到鞋子,这便证明该图片页面是和鞋子相关的。另外,有一些精细的方法,如潜在语义分析,可以根据主题同义词,或其他与主题相关的词来猜测一个网页的主题。例如,如果一个页面中含有“靴子”,或其他与鞋子相关的词(如“鞋带”和“鞋底”);那么,这便足以说明该页面是和鞋子相关的。然而,网络设计者们不能依赖使用这些先进技术的搜索引擎,因此,应该保证他们站点的关键页面中含有大量与主题相关的文本信息,可以吸引访问者。当然,这些文本应该在站点页面的HTML中,而不是在图片,或Java程序或多媒体形式的媒介中。


  知道搜索引擎处理网页的过程,有益于了解它们是如何寻找相关网页的。似乎所有的商业搜索引擎都采用了向量空间模型,或是它的变体,向量空间模型一般是与其他技术结合在一起使用的。向量空间模型将所有的网页都转换到一个无序的词库中,每个页面都用一个列表表示,列表中是页面里各个词出现的频率。稍后,会用数学公式将词频转换为权重,该数学公式能够赋予文档中词频较高的词语较高的权重。同时,也会给稀有词语赋予较高的权重。



SEO技巧,爬虫及网页文本相关标签:网站搭建网站建设公司网站建设方案网页设计
相关热点推荐
网站发布软文更容易被收
外部链接的优化之二思路
您怎么看待2015中国
企业建站 别让虚拟主机
网页设计中的版式原理-
方便和实用
SEO个性化网页权重研
小谈网站定位与内容建设
谈谈如何最优化设计网页
搜索引擎优化的链接战略
青岛网站设计哪家公司性
青岛网站建设费用预算
外贸网站建设全攻略
网站优化站内很重要
网站设计的思考之网站首
网络营销之电子邮件营销
网站推广技巧[综合]
网站建设的方案该如何制
青岛网站设计简约化有什
网页设计中标签式导航的
网站首页所应该达到的几
青岛高端网站建设公司哪
关于企业网站分析
网站设计风格和色彩搭配
网页切图与SEO优化
网站优化设计的三个具体
有关网站设计的思考
网站域名需要实名制认证
新手网站在更新前要注意
苹果系统播放器
网上购物网站的用户体验
网页设计规划
如何制作网站才能成功
企业网站建设的策略
关于青岛网站建设的一些
网页设计中排版与布局基
在青岛网站设计中套用网
如何协调用户体验与网站
网站建设中要掌握的20
如何让复杂的导航变得简
奈薇建站网青岛网站建设公司/青岛网站制作公司,专业提供"气质"型网站建设及精美网站制作服务,同时欢迎各地网站建设公司、网站制作公司代理我们的奈薇建站系统共同发展

热点地区:青岛网站建设价格 青岛即墨网站制作公司 开发区信息港 山东在线门户
建站咨询热线0532-88781131 15166683288 18562723728
版权所有© BangJianZhan.Com & Nev.Cn 青岛网站建设/网站制作公司
青岛雨后网络科技有限公司 - 青岛市市北区福州北路90号,景泰尚都6层
已经为您服务了
211个月 13