首页 > SEO技术分享 > robots协议的正确写法与作用
201209月19

robots协议的正确写法与作用

  前几天360搜索与百度搜索所谓的“3B”大战中,百度指责360搜索违反robots协议致使用户隐私泄漏。且不论360搜索是否真的违反robots协议还是百度搜索在“钓鱼”,今天我们谈谈robots协议的正确写法与作用。对很多站长来说,robots协议并不陌生。但是对很多新手站长来讲,他们网站往往没有robots.txt。一方面robots协议可以屏蔽一些你不想让搜索引擎抓取的页面,可用于网站“降噪”,另一方面方便蜘蛛顺利爬行网站这对网站收录还是有好处的。如何正确写好robots.txt也是很重要的,不然可能起相反作用。

  下面是一段robots.txt的一般写法:
  User-agent: *
  Disallow: /seo
  Sitemap: http://domain.com/sitemap.xml
  第一二行的意思是禁止蜘蛛抓取seo这个目录文件,一般一些模版文件、动态网址、留言等等都可以禁止蜘蛛抓取。第三行是网站地图方便蜘蛛爬行网站,最好html与xml两种地图形式都有。其中*是通配符,表示任意一段字符。

  如果是不会写robots协议的朋友可以参考厦门青年SEO的robots.txt: http://www.xmlad.com/robots.txt 或者使用站长工具进行自动生成:http://tool.chinaz.com/robots 。与nofollow标签不同的是,robots协议是禁止蜘蛛进行抓取,而nofollow标签是告诉蜘蛛“不要追踪”。两者还是有所区别的。针对一些无法删除的死链接,可以利用robots协议进行屏蔽。写robots协议要慎重,避免妨碍蜘蛛正常抓取你网站信息导致出现不收录等一些问题。

文章作者:厦门青年SEO
本文地址:http://www.xmlad.com/387.html
版权所有 © 转载时必须以链接形式注明作者和原始出处!

3 Responses to “robots协议的正确写法与作用”

  1. 彭晋杰
    #1 彭晋杰 回复 | 引用 Post:2012-09-21 15:18

    你好啊!看了你的网站,排名还不错,不过你的robots.txt中的sitemapURL地址错误了,可以改正下,我的新站http://databaidu.com/厦门SEO,刚建的,指点下,哈哈!!

    • 厦门青年SEO
      #2 厦门青年SEO 回复 | 引用 Post:2012-09-21 21:59

      谢谢提醒,确实错了,已修改。你的站也不错,继续加油哈。

  2. 厦门seo
    #3 厦门seo 回复 | 引用 Post:2012-09-21 20:35

    robots还不是很懂···

发表评论