Robots.txt 写法指南

3天前 (08-05 14:00)阅读177回复0
外链吧吧务
外链吧吧务
  • 管理员
  • 注册排名1
  • 经验值9700
  • 级别管理员
  • 主题1940
  • 回复0
楼主
 搜索引擎Robots协议,是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。下面Seoer惜缘举例robots写法规则与含义:
  首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置Robots协议文件:

  一、允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  二、禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

User-agent: Msnbot
Disallow: /


  User-agent: Msnbot

  Disallow: /

  例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:

  百度的蜘蛛:baiduspider

  Google的蜘蛛: Googlebot

  腾讯Soso:Sosospider

  Yahoo的蜘蛛:Yahoo Slurp

  Msn的蜘蛛:Msnbot

  Altavista的蜘蛛:Scooter

  Lycos的蜘蛛: Lycos_Spider_(T-Rex)

  三、禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: *

  Disallow: /目录名字1/

  Disallow: /目录名字2/

  Disallow: /目录名字3/

  把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。

  四、禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:

  User-agent: Msnbot

  Disallow: /admin/

  五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: *

  Disallow: /*.htm 说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

  六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:

  User-agent: *

  Allow: .htm$ 说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

  七、只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

  User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)

  Disallow:

  以上文章是对于Robots.txt文件写法的具体说明教程,我们都知道做哈网站优化工作,Robots.txt 学习就是我们的必修课。如果你是正在学习的seo新手,想学习更多关于seo知识,苦于找寻不到好的资料,可以到http://www.seoxiaoyi.com我们一起交流 共同进步

0
回帖

Robots.txt 写法指南 期待您的回复!

取消
载入表情清单……
载入颜色清单……
插入网络图片

取消确定

图片上传中
编辑器信息
提示信息