成都网站建设
扫描关注木子网络微信号

扫一扫微信二维码

robots.txt防止向黑客泄露后台地址和隐私目录的写法

木子网络2018-01-02网站优化

  做优化的朋友都知道网站的robots的目的是让搜索引擎知道我们网站哪些目录可以收录,哪些目录禁止收录。通常情况蜘蛛访问网站时,会首先检查你的网站根目录是否有robots文件,如果有,则会根据此文件来进行抓取判断,如果不存在robots,那么网站的所有页面都有可能被收录,这将会给网站带来安全隐患。

  例如:通过百度搜索“织梦内容管理系统 V57_UTF8_SP1”就会出现一堆用织梦程序的后台地址,将后台暴露给他人,带来极大的安全隐患。

robots.txt防止向黑客泄露后台地址和隐私目录的写法

  下面木子网络先给大家介绍下robots.txt是干什么的?

  robots.txt基本上每个网站都有,并且是在网站的根目录下,任何人都可以直接输入路径打开并查看里面的内容,如http://www.muziwl.com/robots.txt。上面已经讲到该文件的目的就是告诉搜索引擎,哪些页面可以去抓取,哪些页面不要抓取。

  robots.txt如何使用

  在网站根目录下创建一个文件,取名robots.txt,文件名必须是这个!然后设置里面的规则。

  比如我有一个博客,我要设置不允许任何搜索引擎收录本站,robots.txt中就设置如下两行即可。

  User-agent: *

  Disallow: /

  如果要限制不让搜索引擎访问我们网站后台admin目录,则规则改为:

  User-agent: *

  Disallow: /admin/

  robots.txt更多的使用规则,不在本文的讨论范围之内,详细的可以阅读下以前的一篇文章《网站优化之robots文件的写法详解》。

  通过上面的方法我们可以禁止搜索引擎收录我们的后台页面,但矛盾的是,robots.txt文件任何人都可以访问,包括黑客。为了禁止搜索引擎,我们同时也把隐私泄露给了黑客。

  像上面的例子中,我们为了让搜索引擎不要收录admin页面而在robots.txt里面做了限制规则。但是这个robots.txt页面,谁都可以看,于是黑客就可以通过robots了解我们网站的后台或者其它重要的目录结构。

  有没有办法既可以使用robots.txt的屏蔽搜索引擎访问的功能,又不泄露后台地址和隐私目录的办法呢?

  有,那就是使用星号(*)作为通配符和截取部分目录名称。举例如下后台地址为admin:

  User-agent:*

  Disallow: /a*/

  或者使用下面这种方法:

  User-agent: *

  Disallow: /ad

  关键在第二句,这样写就会阻止搜索引擎访问任何以“ad”开头的文件和目录。为了防止别人猜出你的后台目录,这里截取的越短越好。当然如果你后台的目录是admin,还是有可以被人猜到,但如果你再把admin改为admadm呢?还有会谁能知道?

  总结下,为了不让搜索引擎收录网站的后台目录和其它隐私目录,我们将这些路径在robots.txt文件中禁用。又为了让robots.txt中的内容不泄露网站的后台和隐私,我们可以使用上面两种robots写法。最后为了不让黑客猜到真实的路径,我们可以把这些敏感的目录进行非常规的重命名例如加特殊符号“@”等。

  好了,关于robots.txt防止向黑客泄露网站后台和隐私目录的写法,就介绍这么多,希望对大家有帮助,谢谢!

转载请注明:木子网络 » http://www.muziwl.com

文章标签
robots