robots文件屏蔽目录带/斜杠和不带的区别

　　robots.txt的详细写法，木子网络在前面《网站优化之robots文件的写法详解》一文中给大家详细的介绍过了，这里就不做过多赘述，本文只针对robots.txt里面的最容易产生混淆或者说最让新手搞不懂的东西，加以解释。

　　1) User-Agent键

　　后面的内容对应的是各个具体的搜索引擎爬行器的名称。如百度是Baiduspider，谷歌是Googlebot。

　　一般我们这样写：

　　User-Agent: *

　　表示允许所有搜索引擎蜘蛛来爬行抓取。如果只想让某一个搜索引擎蜘蛛来爬行，在后面列出名字即可。如果是多个，则重复写。

　　注意：User-Agent:后面要有一个空格。

　　在robots.txt中，键后面加：号，后面必有一个空格，和值相区分开。

　　2) Disallow键

　　该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。

　　例如：Disallow: /index.php 禁止网站index.php文件

　　Allow键

　　该键说明允许搜索引擎蜘蛛爬行的URL路径

　　例如：Allow: /index.php 允许网站的index.php

　　通配符*

　　代表任意多个字符

　　例如：Disallow: /*.jpg 网站所有的jpg文件被禁止了。

　　结束符$

　　表示以前面字符结束的url。

　　例如：Disallow: /?$ 网站所有以?结尾的文件被禁止。

　　注意事项：

　　一、在“/robots.txt”文件中，至少要有一条Disallow记录，允许收录优先级要高于禁止收录，如

　　User-agent: *

　　Allow: /a/b.htm

　　Disallow: /a/

　　则a目录下b.htm可以访问，其他禁止

　　二、重点：robots.txt文件屏蔽目录带不带/斜杠的区别 ：

　　举个栗子：

　　robots.txt部分：

　　User-Agent: *

　　Disallow: /admin

　　Disallow: /admin/

　　这两种是什么意思呢，一个是不带/斜杠的，另一个是带/斜杠的。

　　根据robots.txt写法规范，解释如下：

　　1、不带/斜杠的意思是：屏蔽admin这个名字开头的所有目录。如：/admin1、/admin2、/admina或者/admin/以下的所有目录都是被屏蔽的。

　　2、带/斜杠的意思是：屏蔽/admin/这个目录下的所以内容。如：/admin/abc、/admin/gsd/或者是/admin/4gy6/1df等，/admin/以下的目录都是被屏蔽的。但是它并不屏蔽本目录的内容，如：/admin还是允许蜘蛛抓取的。

　　所以木子网络建议：如果目录后面带斜杠，那么访问不带斜杠的地址时还是可以访问目录首页，如果想屏蔽掉整个目录，建议不带斜杠，如果还有不明白的朋友，下面用表格给大家做了个简单的例子：

Allow或Disallow的值	URL	匹配结果
/tmp	/tmp	yes
/tmp	/tmp.html	yes
/tmp	/tmp/a.html	yes
/tmp/	/tmp	no
/tmp/	/tmphoho	no
/tmp/	/tmp/a.html	yes
/Hello*	/Hello.html	yes
/He*lo	/Hello,lolo	yes
/Heap*lo	/Hello,lolo	no
html$	/tmpa.html	yes
/a.html$	/a.html	yes
htm$	/a.html	no

　　三、robots文件只有放在根目录才有效，放在子目录没效。

　　最后木子网络给大家推荐一个robots.txt文件在线生成工具，在chinaz站长工具里面有，地址是http://tool.chinaz.com/robots/，效果如下：

转载请注明：木子网络 » http://www.muziwl.com