青岛网站建设公司,青岛网站制作公司-奈薇建站网
建站咨询热线:0532-8878113113165158935 
知识普及 » SEO技巧,爬虫及网页文本

SEO技巧,爬虫及网页文本

奈薇建站网 2009-10-18 21:21发表
阅读次数 2511

  链接结构和爬虫爬行范围


  如果希望网站能够吸引新的访问者,在网站设计过程中,网站设计者们应考虑商业引擎网络爬虫的工作原理。关于商业引擎网络爬虫工作原理的具体细节,外人知道得很少,但可以从其一般工作原理中获得几点启示。


  网络爬虫是沿着从网页文本中提取出来的链接爬行的,任何一个网站都应含有足够的链接,以便爬虫能够发现该站点所有的网页。更具体的讲,爬虫很可能从网站的首页开始爬行,因此,网站首页上的链接应能够指向该网站所有的网页。另外,这些链接必须包含在网页的HTML中,且是标准的HTML(如,使用锚点标签),因为爬虫可能识别不了其他格式的链接,包括JAVA或JavaScript格式。


  许多网站从未被任何搜索引擎发现过,网站设计者们应该确保他们的网站能够让搜索引擎的“爬虫”发现。某些搜索引擎有URL提交功能,即允许设计者们将其网站的URL提交到爬行列表中,所有的主流搜索引擎都有这一功能;有些搜索引擎虽没有此功能,但如果已经被索引过的网站中有指向未被索引到的网站的链接,那么顺着链接,爬虫也能爬取该网站。因此,对于新网站而言,应该确保至少有一个已经被主流搜索引擎索引到的网站链接到该网站。


  搜索引擎程序如何解析网页文本


  一个网页中的文本对搜索引擎来说,比对用户更为重要。网页中的文本与链接主题无关,但可以给出一些网站的总体印象,这些网站里有些内容不愿被搜索引擎索引到,所以,在设计时专门提防着搜索引擎。此时,需要区分“爬行”和“索引”这两个概念。爬行一个网站是指沿着链接访问该站点上所有的页面,且一般会为这些网页保存一个复本。索引则是爬行的下一个阶段,即将网页文本存人到一个特殊的“倒排文档”数据库中,利用“倒排文档”数据库,可以快速搜索到与用户查询相匹配的页面。标准搜索引擎一般只索引网页文本,而忽略图片和其他多媒体信息。因此,讨论搜索时就应该区分文本和图片。


  用户在访问网站的时候,从图片中获得的信息比从文本中获得的信息更直观。举一个极端的例子,一个来自知名公司的图标放在页面中显眼的位置,就足以说明该网页是该公司的。相反,搜索引擎则是忽略所有图片的,至少在从网页中提取信息时是这样的。如果一个网页上都是鞋子的图片,但其文本中却没有一个“鞋”字,那么,搜索引擎不知道这个页面是关于鞋子的。这就说明,网站的设计者们需要确保页面中含有描述该站点主题内容的词语。


  一些更聪明的方法可以用来帮助搜索引擎来判定该页面是关于鞋子的。Google首先提出了这样的方法:如果有其他页面链接到含有鞋子图片的页面,且锚文本中也提到鞋子,这便证明该图片页面是和鞋子相关的。另外,有一些精细的方法,如潜在语义分析,可以根据主题同义词,或其他与主题相关的词来猜测一个网页的主题。例如,如果一个页面中含有“靴子”,或其他与鞋子相关的词(如“鞋带”和“鞋底”);那么,这便足以说明该页面是和鞋子相关的。然而,网络设计者们不能依赖使用这些先进技术的搜索引擎,因此,应该保证他们站点的关键页面中含有大量与主题相关的文本信息,可以吸引访问者。当然,这些文本应该在站点页面的HTML中,而不是在图片,或Java程序或多媒体形式的媒介中。


  知道搜索引擎处理网页的过程,有益于了解它们是如何寻找相关网页的。似乎所有的商业搜索引擎都采用了向量空间模型,或是它的变体,向量空间模型一般是与其他技术结合在一起使用的。向量空间模型将所有的网页都转换到一个无序的词库中,每个页面都用一个列表表示,列表中是页面里各个词出现的频率。稍后,会用数学公式将词频转换为权重,该数学公式能够赋予文档中词频较高的词语较高的权重。同时,也会给稀有词语赋予较高的权重。



SEO技巧,爬虫及网页文本相关标签:网站建造网站建造网站制作网站建设公司
相关热点推荐
手机网站的SEO优化该
网站设计的思考之网站的
青岛网站建设基础知识
网站流量语汇 增加网站
青岛网站制作的公司哪家
极简主义网站设计:寓丰
网站改版有了新的方法?
网页设计配色应用实例剖
浅谈企业网站建设的黄金
影响青岛网站建设排名的
青岛高端定制网站价格
浅谈如何提高网站PR值
网页设计中“点”的视觉
让设计散发文化韵味
视觉设计在网站制作上的
网页布局设计:注册登录
CSS选择符详解
从精简导航谈小型网站的
网页布局设计基础
你对网站的未来是怎么样
论个人站长之出路
什么是最好的正文字体
网页的栅格系统设计
网页顶尖设计师的思考与
网站改版内容
改变首页需要慎重考虑
页面空白空间的魅力
做网站一定要知道的定律
企业建网站的必要性
网站建设中的版面设计
网站怎么才能让goog
真正成功的关键IP是坚
一个好的网站应具备哪几
花卉行业网站建设
站在用户的角度来设计网
中小企业行之有效的网络
什么样的网站效果才是客
企业建立网站的最佳时机
青岛网站设计中关于al
互联网产品交互事件分析
奈薇建站网青岛网站建设公司/青岛网站制作公司,专业提供"气质"型网站建设及精美网站制作服务,同时欢迎各地网站建设公司、网站制作公司代理我们的奈薇建站系统共同发展

热点地区:青岛网站建设价格 青岛即墨网站制作公司 开发区信息港 山东在线门户
  • 备案号
  • 鲁ICP备13010283号
建站咨询热线0532-88781131 15166683288 13963906391
版权所有© BangJianZhan.Com & Nev.Cn 青岛网站建设/网站制作公司
青岛雨后网络科技有限公司 - 青岛市市北区福州北路90号,景泰尚都6层
已经为您服务了
160个月 11