搜索引擎通过robots.txt文件内容可以识别出青岛网站建设根目录哪些是允许收录的内容,哪些是禁止收录的内容,但是如果黑客直接访问如www.abc/robots.txt直接打开一些敏感目录,如后台目录等,带来极大的安全隐患。
可通过下面几个方法禁止目录被看到:
方法1
假设我们后台目录是/system/,那么我们可以在设置的时候这样写:
User-agent:*
Disallow:/sys
关键在第二行,这样写就会阻止搜索引擎访问任何以“sys”开头的文件和目录。为了防止别人猜出你的后台目录,这里截取的越短越好,比如:
User-agent:*
Disallow:/d
这样,同样起到作用,但留的字母更少,更难猜了,这时会阻止搜索引擎访问所有以d”开头的文件和目录。
这里我们需要注意的问题是,为了避免影响其它目录的收录,可以修改一下后台目录文件名。如果后台目录以某个字母或几个字母开头,那就避免其它需要被收录的文件或目录以这几个字母开头,这样就可以了。
方法2
后台目录做个首页文件,跳转到真正的后台首页文件.
比如说,后台首页是index.php,而服务器优先index.html
写个index.html文件,跳转到index.php
index.html文件在<head>中加入
<METANAME="ROBOTS"CONTENT="NOINDEX,NOFOLLOW">,
搜索爬虫就不会继续到该目录下的其他页面了
注:
NOINDEX指令:表示拒绝搜索机器人索引本页,但可跟踪该页上的链接;
NOFOLLOW指令:表示拒绝机器人跟踪本页链接,但可索引本页。
还可以加入,NOARCHIVE:告诉Google不要保存含此标签的网页的快照。
补充:
只是拦截百度蜘蛛爬取网页,而允许其他搜索引擎收录:
<METANAME="baiduspider"CONTENT="NOINDEX,NOFOLLOW">
允许搜索引擎收录你的网页,但禁止其收录网页上的图片:
<METANAME="ROBOTS"CONTENT="NOIMAGEINDEX">
如果是linux+apache,还可以用.htaccess文件限制
这2个方法可以根据自己情况进行使用。
|