March 12th, 2007
如何设置WordPress的robots.txt
Category: WordPress, Author: Nicky, Popularity: 13%
WordPress自从2.1版本开始，在Privacy选项里面允许用户设置是否被搜索引擎索引。但是它只有2个选项，一个是允许所有搜索引擎的机器人（Spider）索引所有内容，另外一个就是不允许。其实robots.txt的用法有很多（robots.txt带来的好处），最近看了一些文章说，在WordPress中阻止Spider爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名，这篇文章说，通过将comment feeds与Trackbacks排除在外，他的网站访问量上升了11.3%。
通过我的Google Analytics来看，访问这里的人有2/3的是新访者，而这些新访者中又有2/3来自于搜索引擎，所以对于搜索引擎的优化还是很重要的。综合了上面2个例子，我把自己的robots.txt内容设置如下：
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
意思就是：
允许所有的搜索引擎的机器人（Spider）访问本站，
但是不能爬行以wp-开头的文件和目录，
不能爬行/feed/、/comments/feed/和/trackback/目录。
修改后可以使用Google网站管理员工具 - 诊断 - robots.txt 分析 测试一下。
相关文章：
How to SEO Your Wordpress Blog（SEO你的WordPress博客几个方法）
1、建议把友好链接结构设置为“%postname%”。(如果需要修改Permalinks，强烈推荐使用“Dean’s Permalinks Migration”插件，它可以把以前的友好链接地址转向修改后的新地址。）
2、使用Related Posts插件。
3、使用Metatags插件（就是能在meta的keywords中插入tag的插件）。
Ultimate Tag Warrior 3.14 以上版本也有这个功能，需要在 Options -> Tags 里勾选“Include meta keywords“选项。
4、使用“Sitemap Generator Plugin for Wordpress”
5、在“Options -> Writing -> Update Services”中填入56个RPC服务。
6、在Technorati中创建一个帐户，把你的WP博客加入其中。
相关插件：
HeadSpace 2，在撰写文章时发布按钮下方会看到有多出”meta data”项目，其中可以填入相关描述和meta信息。
btc-meta-plugins，在每篇文章中自己手动填写description、keywords等信息。
Tags：metatags, robots, SEO, sitemap, WordPress.
评论数量(15) | Add Comments
本文网址：http://www.osxcn.com/wordpress/robots-txt-for-wordpress.html
学习拉，thanks Nicky
学习中。
嗯 学习了 顺便激活metatags插件吧
刚刚才开启了，使用UTW自带的这个功能，记得以前用的Jerome’s Keywords也行。
ChinaUI 转了你的一篇文章 在
http://www.chinaui.com/news/newsInfo.aspx?ARTICLE_ID=2257
照葫芦画飘，我也给我的robots.txt设置了一下。谢谢。
请教一下：我的blog的feed的url结构是：
http://www.mysite.com/index.php/feed/
http://www.mysite.com/index.php/titlename/feed/形式的。
（该死的，我的虚拟主机为什么去不掉index.php?）
所以我想问的是我的robot.txt该如何禁掉所有feed？
是直接Disallow: /feed/就可禁掉，
还是要加index.php，如
Disallow: index.php/feed/
Disallow: index.php/*/feed/ （*我也不知道是不是？）
谢谢！
谢谢！
some web:
http://www.dogsmartway.com/wholesale-dog-clothing.htm
http://www.dogsmartway.com/wholesale-dog-clothes.htm
http://www.dogsmartway.com
http://www.dogstoreol.com
ww.dogstoreol.com/Dog-Clothes.htm
good link.
p9w5×7sd
请问Nicky，robots.txt是放在根目录下的，可我的程序是放在blog子目录下的（听了你另外一篇文章的建议才这样，本来我硬性把网址中的blog给去掉了，可你说放在根目录下不好么），这时我的robots.txt该怎么设置啊
robots.txt 设置不变，robots.txt 放在你的 blog 子目录下。
又学到一招…..
（听了你另外一篇文章的建议才这样，本来我硬性把网址中的blog给去掉了，可你说放在根目录下不好么)
把BLOG去掉有啥好处?
非常感谢博主的分享，让我学到了不少东西
谢谢你了，照你的说明修改了Robot文件了。。。
喜欢，借鉴，学习