青岛网站建设公司,青岛网站制作公司-奈薇建站网
建站咨询热线:0532-8878113115166683288 
知识普及 » 通过robots.txt看到网站后台目录

通过robots.txt看到网站后台目录

奈薇网站建设 2016-09-09 11:10发表
阅读次数 3089
  搜索引擎通过robots.txt文件内容可以识别出青岛网站建设根目录哪些是允许收录的内容,哪些是禁止收录的内容,但是如果黑客直接访问如www.abc/robots.txt直接打开一些敏感目录,如后台目录等,带来极大的安全隐患。

  可通过下面几个方法禁止目录被看到:

  方法1

  假设我们后台目录是/system/,那么我们可以在设置的时候这样写:

  User-agent:*

  Disallow:/sys

  关键在第二行,这样写就会阻止搜索引擎访问任何以“sys”开头的文件和目录。为了防止别人猜出你的后台目录,这里截取的越短越好,比如:

  User-agent:*

  Disallow:/d

  这样,同样起到作用,但留的字母更少,更难猜了,这时会阻止搜索引擎访问所有以d”开头的文件和目录。

  这里我们需要注意的问题是,为了避免影响其它目录的收录,可以修改一下后台目录文件名。如果后台目录以某个字母或几个字母开头,那就避免其它需要被收录的文件或目录以这几个字母开头,这样就可以了。

  方法2

  后台目录做个首页文件,跳转到真正的后台首页文件.

  比如说,后台首页是index.php,而服务器优先index.html

  写个index.html文件,跳转到index.php

  index.html文件在<head>中加入

  <METANAME="ROBOTS"CONTENT="NOINDEX,NOFOLLOW">,

  搜索爬虫就不会继续到该目录下的其他页面了

  注:

  NOINDEX指令:表示拒绝搜索机器人索引本页,但可跟踪该页上的链接;

  NOFOLLOW指令:表示拒绝机器人跟踪本页链接,但可索引本页。

  还可以加入,NOARCHIVE:告诉Google不要保存含此标签的网页的快照。

  补充:

  只是拦截百度蜘蛛爬取网页,而允许其他搜索引擎收录:

  <METANAME="baiduspider"CONTENT="NOINDEX,NOFOLLOW">

  允许搜索引擎收录你的网页,但禁止其收录网页上的图片:

  <METANAME="ROBOTS"CONTENT="NOIMAGEINDEX">

  如果是linux+apache,还可以用.htaccess文件限制

  这2个方法可以根据自己情况进行使用。

通过robots.txt看到网站后台目录相关标签:网站制作方案申请网站设计网站网站开发
相关热点推荐
网站风格定位如何把握
网页设计中HTML常范
如何增强图片设计的立体
浅谈如何增加网站外链的
浅谈如何提高网站PR值
用户体验设计答疑对话
网页设计现状
建立网站的好处
青岛营销型网站建设
令网站打开提高速度的7
23条使你的网站设计更
优质的内容的优化
迭代的设计
网站如何定位
History.bac
青岛网站制作成本大解密
轻松打造自己的站内搜索
设计商业网站域名
初窥交互设计
外贸网站建设中需要注意
客户!您需要搜索引擎优
网站建设中的12大误区
互联网产品交互事件分析
做站就做自己熟悉的东西
总结几个产生上万流量的
青岛之外的客户做网站如
网站建设之网站策划
网页设计中应注意内容、
SEO--谈谈分词技术
最好的网站设计工具-奈
HTML5技术的优点和
网站制作中的交互设计
网站建设最容易忽略的人
网址搜索引擎,只需要花
六大黄金要素提升网站访
建设网站的十二大误区
网站信息的可用性设计
企业网络营销的成功策略
关于有助于提高关键词排
网站推广技术
奈薇建站网青岛网站建设公司/青岛网站制作公司,专业提供"气质"型网站建设及精美网站制作服务,同时欢迎各地网站建设公司、网站制作公司代理我们的奈薇建站系统共同发展

热点地区:青岛网站建设价格 青岛即墨网站制作公司 开发区信息港 山东在线门户
建站咨询热线0532-88781131 15166683288 18562723728
版权所有© BangJianZhan.Com & Nev.Cn 青岛网站建设/网站制作公司
青岛雨后网络科技有限公司 - 青岛市市北区福州北路90号,景泰尚都6层
已经为您服务了
211个月 17