首页 » web开发 » wordpress的Robot.txt的规则

wordpress的Robot.txt的规则

作者: 低调的术木 分类: web开发 发布时间: 2015-01-25 18:26 ė浏览 1,657 次 6没有评论

WordPress的SEO默认做的已经非常强大了,所以优化的空间很大。其中Robots.txt优化是Wordpress优化最重要的一个环节。搜索 引擎对网页的抓取首先就是从读取的Robots.txt开始的。在Wordpress中,Robots.txt的作用主要就是屏蔽一些重复的内容放置被重 复抓取。目前各种的Robots.txt的写法很多,但几乎功能都是一样的。

什么是Robots.txt

robots.txt是一个存放在网站根目录下的文本文件,这个文件用于指定spider在您网站上的抓取范围,一定程度上保护站点的安全和隐私,同时也是网站优化利器,例如屏蔽捉取站点的重复内容页面。
百度搜索引擎支持的robots txt标签: http://www.baidu.com/search/robots.html

WordPress中经典的Robots.txt规则
本博客使用的是经典的规则,如下

User-agent: *
Allow:/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
sitemap:http://www.limutian.com/sitemap.xml

解释下哈:

Useragent:*  //这里指的是对所有的spider都生效
Allow:/ //默认允许抓取所有
Disallow://这些就是会产生安全问题或者重复的问题了。屏蔽这些不会对文章的抓取造成任何影响。
Sitemap: //需要配合插件生成Sitemap地图,方便搜索引擎索引文章,目测好像只对Google生效吧。反正我是装上了。

查看您的Robots.txt是否生效
配置好了之后,最担心的就是怕一不小心复制错误了影响抓取吧?没关系,请使用Google管理员工具来检测您的Robots.txt是否生效吧.
请在Google管理员工具-抓取工具的权限处,查看当前robots.txt的状态.
检测到有效的robots.txt就ok了.
添加Robots.txt的注意事项
1、Robots.txt不支持中文,所以请不要在一切位置包括注释位置使用中文。
2、Robots.txt对大小写很敏感,请注意Disallow处的大小写是否正确。

本文出自 蓝天笔记,转载时请注明出处及相应链接。

本文永久链接: http://ubluesky.com/archives/524

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Ɣ回顶部