Robots.txt文件的作用及写法搜索引擎优化的工作者对于Robots.txt文件,应该说并不陌生。因为在有些情况下,我们并不想让网站的全部文件都让搜索引擎收录。比如说一些网站后台管理目录、会员隐私信息、没有价值的网页等,我们都不打算让搜索引擎的蜘蛛爬取。在这种情况下,我们就有必要会用到Robots.txt文件,来与搜索引擎沟通。固安建网站公司。
具体的方式是通过在网站根目录创建名为:Robots.txt的文件,你就可以阻止蜘蛛来索引网站的某些内容,如动态的搜索结构页面(比如说,思亿欧禁止搜索引擎收录我们的搜索结构页面、404页面、图片目录、登陆页面等。固安建网站公司。
所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件,因此,你需要做的只是创建它并上传,然后等待蜘蛛来阅读。Robots.txt文件没有以任何方式来保护你的内容,只是阻止搜索引擎索引。固安建网站公司。
下面,思亿欧主要说明下Robots.txt文件的写法。固安建网站公司。
1.如果你站点中的所有文件,都可以让蜘蛛爬取、收录的话,那么语法这样写:固安建网站公司。
User-agent: *
Disallow:固安建网站公司。
当时,如果你网站中全部的文件都可以让搜索引擎索引的话,你也可以不管这个文件。固安建网站公司。
2.完全禁止搜索引擎来访的Robots.txt文件写法:固安建网站公司。
User-agent: *
Disallow: /固安建网站公司。
2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:固安建网站公司。
User-agent: Googlebot
Disallow: /固安建网站公司。
3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:固安建网站公司。
User-agent: * 转自:奈薇建站网(www.nev.cn)
Disallow: /admin/
Disallow: /images/固安建网站公司。
4.禁止Google抓取网站中的图片文件:固安建网站公司。
User-agent: Googlebot 转自:奈薇建站网(www.nev.cn)
Disallow: /*.gif$固安建网站公司。
Robots.txt文件,是网站与搜索引擎沟通的比较重要的一个方式。如果你对此还有疑问的话,欢迎通过邮件的方式,与我们沟通交流。固安建网站公司。
固安建网站哪家好?廊坊固安建网站公司找“奈薇建站网”
奈薇建站网:透析廊坊固安地区客户需求,让您体验固安建网站公司哪家好! 8年的品牌积淀、良好的用户口碑、强悍的产品功能,恭迎廊坊固安县贵宾品鉴。