青岛网站建设公司,青岛网站制作公司-奈薇建站网
建站咨询热线:0532-8878113113165158935 
知识普及 » 如何使蜘蛛逆向爬行索引

如何使蜘蛛逆向爬行索引

奈薇网站建设 2020-09-07 12:09发表
阅读次数 1919
  首先,我们要来个免责声明-他们再网站设计’的详细内容'>青岛网站设计中并不一定是必要的-但以防万一…但你必须注意的是,这些是一个概念化的东西,至少我是这样认为的,还没有进行实际的测试和实践证明。

  蜘蛛的逆向爬行…至少我第一次起这个名字的时候我是这样想的。这种想法来源于很多的地方:

  网站的页面的深度如果很高的话那对爬行和索引来说都是一个挑战,因为他们的结构很深,拥有大量的页面,会有爬行的障碍(例如那些大量基于参数的URL或者那些被认为没有什么价值的页面,这种情况会经常出现在一些电子商务的网站。)

  或者一个网站希望能够尽可能的充分并迅速的被索引(也许一个网站添加了新的内容,它的URL就会发生戏剧化的改变,尽管301已经被定位了,或者这是一个新的站点)。

  因此,怎样才能使网站能够被正常的爬行和索引?通常是通过以下的几种方式:

  发现:搜索引擎蜘蛛会根据链接进入到你的网站

  提交:一个站长会把站点和页面提交给搜索引擎

  XML网站地图:一个站长给他们的网站创建一个XML网站地图,并通过搜索引擎使他们变得有效,或者就把它放在网站的根目录作为一个网站地图或者利用ROBOTS文件来进行自动搜索。

  这些方法都是优点和缺点的,但是他们至少解决了如何让蜘蛛进入他们的站点,通过使用XML网站地图,可以帮助蜘蛛越过一些爬行的障碍。但是它也不是完全准确的,但是我认为这是一个自上而下的路线,像是这样的…

  无论是直接还是间接,主页被发现了。那么蜘蛛就会按照他们自己的路线进行爬行。从顶级的导航到第二层让后到子导航,爬行到顶级的分类页面,通过子分类的界面,然后到更深的产品和信息页面。反过来说,你想进行索引的这些页面同时占领了头部和长尾的搜索。这些也很有可能是产生交易或者是转化的页面。

  蜘蛛来到你页面的频率是多少?它们一次性通常会爬多少页面?新的页面会多久才会被发现和抓取?相对而言旧的页面会多久被发现和抓取?本质上来说,应该平衡抓取,这就解释了为什么排除重复性内容的重要性。你不想心爱的蜘蛛把时间浪费在爬过和收录过的内容。

  当你为一些大型的网站指出这些问题的话,你发现想让蜘蛛去爬行和喜欢的URL实在是多的让人觉得可怕,即使没有那些隐藏着的爬行障碍。请记住,甚至是XML网站地图,每个网站地图最多只能包括50000个URL,最少20个单独的网站地图的话加起来就会有1000000个页面。

  要说的是,我要提醒大家这种情况并不适用于所有的网站和情况。这种“蜘蛛逆向爬行”的基础和使用XML网站地图是有些不同的。典型的XML网站地图策略是要提交每一个URL,就是希望每个页面都能被索引。这也许不是最好的策略,但是这是另外一个问题了。即使那样,这些策略往往会给首页过多的权重和优先权。

  恰恰相反,我们应该把网站地图的重点放在一些低等级的页面上。通常都是单个的产品和信息页面。这种思想就是让蜘蛛去那些最深层最难爬的页面。

  它们之后还会去哪儿呢?他们会按照蜘蛛做的那样做,开始爬行。想想这些深层次的页面。但愿他们内容丰富并且富有关键词。他们也许包括一些可以导航的元素,即使不是完全的高等级的导航,至少是一些分类导航。如果网站有类似的面包屑导航的话,我们可以直接喂给蜘蛛这些面包屑。

  在这点上,我们应该更好的以更多的方式给蜘蛛展现我们的网站。这个观念也许并不是关于逆向爬行的,反而是关于让蜘蛛从两个底端开始爬行,这样的爬行最终也能到顶部的导航。

  我们通常会假设蜘蛛会很自然的首先去找首页然后顺势往下爬遍整个网站。和那些多样化的产品等级的页面相比从主页到顶层页面有多少个唯一的URL?我的猜想是因为页面深度的不同,两个等级的页面的抓取数量是有很大的不同的。

  正如我提到的,我认为这是一个低风险的路线。无论有没有xml网站地图,蜘蛛们都能找到页面的。他们会找到不在网站地图中的页面,因此即使是一个没有首页和顶级页面的网站地图,也不会遗漏掉这些页面。

  在自然环境下,也许不会出现这些问题。蜘蛛会迅速爬过整个网站。一旦他们发现了链接他们就会追根究底。也许这些页面埋得太深了,他们有点儿不太喜欢。

  无论如何,让这些网页被爬到和索引是很重要的,对于我的站来说这的确是一个艰难的过程。或许这只是一个时间问题。至少我要去尝试。一旦像我想象的那样整个网站的那个等级的页面都被建立了索引,我就可以继续并在XML网站地图中添加其他的URL,或者我可以做个实验,不把网站地图放在网站里。

如何使蜘蛛逆向爬行索引相关标签:网页制作网站规划网站注册网站建设方案
相关热点推荐
如何使蜘蛛逆向爬行索引
与你分享99%站长所不
Web内容不是一写就好
建站须知
网站优化的关键与弊端?
在青岛,企业网站建设对
网站设计之关于素材和言
精致的web设计
界面设计是应该本地化还
青岛网站建设费用预算
网站离开百度该如何生存
优质的内容的优化
通过网站SEO软件优化
搜索引擎收录不好的原因
网站功能结构发展的几个
Web页面设计原则
优化网站设计的五种方法
网络广告与网站推广的步
网页中背景纹理的7个设
网站快速排名优化几大特
如何做到网站的最佳优化
青岛网站制作如何实现自
如何创建一个新的网站
网站基础优化首先学会s
青岛网站建设时如何有效
百度优化越来越难,我们
关于网站推广前的5点建
个人网站如何制作才能成
10条优秀的网站设计经
网站推广技巧8则(二)
建站注意事项(1)
网站优化一定要控制优化
SEO网站权重,Pag
网页设计中需要掌握的功
时刻关注网站的健康程度
让网页更具“人性”化
漫谈网站改版的必要性下
如何规避企业建站的误区
青岛网站制作的公司哪家
网站信息的可用性设计
奈薇建站网青岛网站建设公司/青岛网站制作公司,专业提供"气质"型网站建设及精美网站制作服务,同时欢迎各地网站建设公司、网站制作公司代理我们的奈薇建站系统共同发展

热点地区:青岛网站建设价格 青岛即墨网站制作公司 开发区信息港 山东在线门户
  • 备案号
  • 鲁ICP备13010283号
建站咨询热线0532-88781131 15166683288 13963906391
版权所有© BangJianZhan.Com & Nev.Cn 青岛网站建设/网站制作公司
青岛雨后网络科技有限公司 - 青岛市市北区福州北路90号,景泰尚都6层
已经为您服务了
163个月 26