青岛网站建设公司,青岛网站制作公司-奈薇建站网
建站咨询热线:0532-8878113113165158935 
知识普及 » 通过robots.txt看到网站后台目录

通过robots.txt看到网站后台目录

奈薇网站建设 2016-09-09 11:10发表
阅读次数 1614
  搜索引擎通过robots.txt文件内容可以识别出青岛网站建设根目录哪些是允许收录的内容,哪些是禁止收录的内容,但是如果黑客直接访问如www.abc/robots.txt直接打开一些敏感目录,如后台目录等,带来极大的安全隐患。

  可通过下面几个方法禁止目录被看到:

  方法1

  假设我们后台目录是/system/,那么我们可以在设置的时候这样写:

  User-agent:*

  Disallow:/sys

  关键在第二行,这样写就会阻止搜索引擎访问任何以“sys”开头的文件和目录。为了防止别人猜出你的后台目录,这里截取的越短越好,比如:

  User-agent:*

  Disallow:/d

  这样,同样起到作用,但留的字母更少,更难猜了,这时会阻止搜索引擎访问所有以d”开头的文件和目录。

  这里我们需要注意的问题是,为了避免影响其它目录的收录,可以修改一下后台目录文件名。如果后台目录以某个字母或几个字母开头,那就避免其它需要被收录的文件或目录以这几个字母开头,这样就可以了。

  方法2

  后台目录做个首页文件,跳转到真正的后台首页文件.

  比如说,后台首页是index.php,而服务器优先index.html

  写个index.html文件,跳转到index.php

  index.html文件在<head>中加入

  <METANAME="ROBOTS"CONTENT="NOINDEX,NOFOLLOW">,

  搜索爬虫就不会继续到该目录下的其他页面了

  注:

  NOINDEX指令:表示拒绝搜索机器人索引本页,但可跟踪该页上的链接;

  NOFOLLOW指令:表示拒绝机器人跟踪本页链接,但可索引本页。

  还可以加入,NOARCHIVE:告诉Google不要保存含此标签的网页的快照。

  补充:

  只是拦截百度蜘蛛爬取网页,而允许其他搜索引擎收录:

  <METANAME="baiduspider"CONTENT="NOINDEX,NOFOLLOW">

  允许搜索引擎收录你的网页,但禁止其收录网页上的图片:

  <METANAME="ROBOTS"CONTENT="NOIMAGEINDEX">

  如果是linux+apache,还可以用.htaccess文件限制

  这2个方法可以根据自己情况进行使用。

通过robots.txt看到网站后台目录相关标签:网站建设方案网页制作网站建设公司企业网站建设
相关热点推荐
建站注意事项(2)
SEO--谈谈分词技术
企业域名保护刻不容缓
如何让你的网站或是个人
青岛网站建设哪家好?
细节决定成败网站建设的
做优化犹如做体操 平衡
如何提高百度收录
密码保护信息的用户体验
站长做好链接该注意的三
青岛高端网站设计公司哪
让访客信任你的十二大网
网站的要素
如何规避企业建站的误区
实现网络搜索营销的诀窍
企业网站应该怎样来定位
网站内容段落的处理技巧
企业建站的误区与解决方
网站工作者必须掌握的技
搜索引擎优化(SEO)
如何设计网页横幅
SEO,可能的搜索引擎
企业建网站的趋势
如何做成一个好的网站设
新站如何提高百度权重
黑色网页设计
罕见设计创意的WEB网
网站建设的步骤有哪些
为什么你的网站百度收录
网页设计配色应用实例剖
如何建立个人网站?
网站前端页面设计分析
浅谈对学习网络推广的一
企业建立网站,对企业有
IE不能上网浏览的常见
网站登陆页面应遵循的原
青岛网站建设的财富秘籍
用百度知道做网站推广9
专业网站建设准则
您怎么看待2015中国
奈薇建站网青岛网站建设公司/青岛网站制作公司,专业提供"气质"型网站建设及精美网站制作服务,同时欢迎各地网站建设公司、网站制作公司代理我们的奈薇建站系统共同发展

热点地区:青岛网站建设价格 青岛即墨网站制作公司 开发区信息港 山东在线门户
  • 备案号
  • 鲁ICP备13010283号
建站咨询热线0532-88781131 15166683288 13963906391
版权所有© BangJianZhan.Com & Nev.Cn 青岛网站建设/网站制作公司
青岛雨后网络科技有限公司 - 青岛市市北区福州北路90号,景泰尚都6层
已经为您服务了
159个月 4