三月 12th, 2007

如何设置WordPress的robots.txt

Category: WordPress, Author: Nicky, Popularity: 14%
WordPress WordPress自从2.1版本开始，在Privacy选项里面允许用户设置是否被搜索引擎索引。但是它只有2个选项，一个是允许所有搜索引擎的机器人（Spider）索引所有内容，另外一个就是不允许。其实robots.txt的用法有很多（robots.txt带来的好处），最近看了一些文章说，在WordPress中阻止Spider爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名，这篇文章说，通过将comment feeds与Trackbacks排除在外，他的网站访问量上升了11.3%。 通过我的Google Analytics来看，访问这里的人有2/3的是新访者，而这些新访者中又有2/3来自于搜索引擎，所以对于搜索引擎的优化还是很重要的。综合了上面2个例子，我把自己的robots.txt内容设置如下： User-agent: * Disallow: /wp- Disallow: /feed/ Disallow: /comments/feed Disallow: /trackback/ 意思就是： 允许所有的搜索引擎的机器人（Spider）访问本站， 但是不能爬行以wp-开头的文件和目录， 不能爬行/feed/、/comments/feed/和/trackback/目录。 修改后可以使用Google网站管理员工具 - 诊断 - robots.txt 分析 测试一下。 相关文章： How to SEO Your Wordpress Blog（SEO你的WordPress博客几个方法） 1、建议把友好链接结构设置为“%postname%”。(如果需要修改Permalinks，强烈推荐使用“Dean's Permalinks Migration”插件，它可以把以前的友好链接地址转向修改后的新地址。） 2、使用Related Posts插件。 3、使用Metatags插件（就是能在meta的keywords中插入tag的插件）。 Ultimate Tag Warrior 3.14 以上版本也有这个功能，需要在 Options -> Tags 里勾选“Include meta keywords“选项。 4、使用“Sitemap Generator Plugin for Wordpress” 5、在“Options -> Writing -> Update Services”中填入56个RPC服务。 6、在Technorati中创建一个帐户，把你的WP博客加入其中。 相关插件： HeadSpace 2，在撰写文章时发布按钮下方会看到有多出"meta data"项目，其中可以填入相关描述和meta信息。 btc-meta-plugins，在每篇文章中自己手动填写description、keywords等信息。

Tags：, , , , .
评论数量(26) | Add Comments
本文网址：http://www.osxcn.com/wordpress/robots-txt-for-wordpress.html



26 Comments so far

» You can leave a response or Trackback .

  1. Gravatar Icon David Says: 2007-03-12 8:32 下午
    :mrgreen: 学习拉，thanks Nicky
  2. Gravatar Icon MSNNY Says: 2007-03-12 8:53 下午
    学习中。
  3. Gravatar Icon 探花 Says: 2007-03-12 9:51 下午
    嗯 学习了 顺便激活metatags插件吧
  4. Gravatar Icon Nicky Says: 2007-03-12 10:33 下午
    刚刚才开启了，使用UTW自带的这个功能，记得以前用的Jerome's Keywords也行。
  5. Gravatar Icon xu.hel Says: 2007-03-13 12:26 下午
    ChinaUI 转了你的一篇文章 在 http://www.chinaui.com/news/newsInfo.aspx?ARTICLE_ID=2257
  6. Gravatar Icon 草根宣 Says: 2007-05-08 7:46 下午
    照葫芦画飘，我也给我的robots.txt设置了一下。谢谢。
  7. Gravatar Icon zz Says: 2007-06-23 10:32 下午
    请教一下：我的blog的feed的url结构是： www.mysite.com/index.php/feed/ www.mysite.com/index.php/titlename/feed/形式的。 （该死的，我的虚拟主机为什么去不掉index.php?） 所以我想问的是我的robot.txt该如何禁掉所有feed？ 是直接Disallow: /feed/就可禁掉， 还是要加index.php，如 Disallow: index.php/feed/ Disallow: index.php/*/feed/ （*我也不知道是不是？） 谢谢！ 谢谢！
  8. Gravatar Icon promotional products Says: 2007-06-26 1:14 下午
    some web: www.dogsmartway.com/wholesale-dog-clothing.htm www.dogsmartway.com/wholesale-dog-clothes.htm www.dogsmartway.com www.dogstoreol.com ww.dogstoreol.com/Dog-Clothes.htm good link. p9w5x7sd
  9. Gravatar Icon James Says: 2007-07-31 10:57 上午
    请问Nicky，robots.txt是放在根目录下的，可我的程序是放在blog子目录下的（听了你另外一篇文章的建议才这样，本来我硬性把网址中的blog给去掉了，可你说放在根目录下不好么），这时我的robots.txt该怎么设置啊
  10. Gravatar Icon Nicky Says: 2007-07-31 12:09 下午
    robots.txt 设置不变，robots.txt 放在你的 blog 子目录下。
  11. Gravatar Icon Hamo Says: 2007-08-13 10:33 上午
    又学到一招.....
  12. Gravatar Icon kmp Says: 2007-09-20 3:15 下午
    （听了你另外一篇文章的建议才这样，本来我硬性把网址中的blog给去掉了，可你说放在根目录下不好么) 把BLOG去掉有啥好处?
  13. Gravatar Icon andywu Says: 2007-10-28 8:41 上午
    非常感谢博主的分享，让我学到了不少东西
  14. Gravatar Icon 史提芬@胡 Says: 2008-03-16 10:11 下午
    谢谢你了，照你的说明修改了Robot文件了。。。
  15. Gravatar Icon Gr.Zhang Says: 2008-03-16 11:49 下午
    喜欢，借鉴，学习
  16. Gravatar Icon kmior Says: 2008-08-29 3:23 下午
    robots.txt应该是放在根目录下，目前三大巨头统一规定了
  17. Gravatar Icon 数据恢复网 Says: 2008-11-25 11:58 上午
    学习了。回头也去弄个
  18. Gravatar Icon New Seoer Says: 2008-12-07 11:39 下午
    又学到东东了
  19. Gravatar Icon 激情聊天室 Says: 2008-12-09 11:24 上午
    这是网站优化的技巧 不错 学习了
  20. Gravatar Icon dreamer Says: 2008-12-20 2:27 上午
    tag页该不该限制收录呢
  21. Gravatar Icon hailin Says: 2009-03-29 3:06 下午
    学习了,谢谢了
  22. Gravatar Icon 魅力 Says: 2009-05-30 2:13 下午
    tobots我都不设置的 当然 存在着被收录后天的后果 哈哈
  23. Gravatar Icon SLATA Says: 2009-08-07 8:48 下午
    我这个也想做做ROBOTS.TXT来。
  24. Gravatar Icon Louis Han Says: 2009-10-09 1:56 下午
    受教了，现在就去试试
  25. Gravatar Icon 太阳博客 Says: 2009-11-19 5:57 下午
    学习了,正在调试
  26. Gravatar Icon 凤鸣岐山 Says: 2009-12-14 8:49 下午
    不错啊，我原来把tag禁止了，怪不得管理员后台受限制那么多

16 Trackbacks/Pingbacks

leave a reply