SEO博客首页 > Wordpress > 为本博客创建了Robots.txt文件,屏蔽一些重复页面

为本博客创建了Robots.txt文件,屏蔽一些重复页面

今天分析本站的服务器日志时,发现蜘蛛爬行了很多重复的页面,比如评论分页什么的,爬得最多的是这种页面:

[25/May/2010:13:02:43 +0800] “GET /201005283.html?replytocom=155 HTTP/1.1″ 200 22851 “-” “Baiduspider

虽然这些对SEO影响不是特别大,但很多细节我认为还是要注意的。所以我给博客创建了robots.txt文件,什么是robots.txt我们以前也说过,这里给大家贴一下我的写法:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: */trackback
Disallow: /*?replytocom=
Disallow: /*?*
Disallow: /tag/
Disallow: */feed*

Sitemap: http://www.xiaohan86.com/sitemap.xml

Sitemap: http://www.xiaohan86.com/sitemap.xml.gz

有几条使用了通配符,把一些可能出现的重复页面全屏蔽掉了,TAG页面我也给屏蔽了,因为有时候一篇文章有两个或多个TAG,但这两个TAG其他文章又没有,所以会造成了重复页面的产生了。

如果你也是使用的Wordpress程序,正想找一份写好的robots.txt文件,那就可以直接下载本站的robots.txt文件了,记得网站地图那修改成你的网址。

37 Responses to “为本博客创建了Robots.txt文件,屏蔽一些重复页面”

  1. #1 酷热元素 回复 | 引用 2011-07-24 11:16

    屏蔽了TAG会不会影响关键词排名??

  2. #2 龙的传人 回复 | 引用 2011-07-17 21:18

    好久没到萧涵这里来了,模板都换了哈。
    这篇文章对我太有用了,代码现在就用上,谢谢了哈~

  3. #3 幺六三影院 回复 | 引用 2011-06-25 16:20

    你网站网站为啥不放地图的连接啊?向所有的引擎提交一个地图行不行?谢谢

  4. #4 山东SEO 回复 | 引用 2011-05-31 22:05

    非常感谢萧涵,在这里学到了不少东西,呵呵

  5. #5 有问必答网 回复 | 引用 2011-05-29 05:46

    非常有用呀!!!

  6. 你好,请问wordpress本来是没这个文件吧,是不是要自己创建robots。txt文件,然后再上传到网站跟目录吗?谢谢解答?

  7. 怎样防止评论链接被搜索引擎追踪?

  8. #9 dandan 回复 | 引用 2011-04-01 11:24

    博主,请问有没有屏蔽重复的商品介绍页面的方法啊?我想对客户显示所有页面,但是搜索引擎只能抓取一个页面。。。话说我用的是magento的。。先谢过了~~

    • #10 萧涵 回复 | 引用 2011-04-01 14:14

      你看看重复的页面有哪些规律,然后在robots.txt里添加就行了。

      • #11 dandan 回复 | 引用 2011-04-02 10:14

        谢谢博主~~~
        呃,还有一个问题需要麻烦你帮忙解决下。。。如果我想要对搜索引擎屏蔽部分重复的介绍文字,但是对用户全部可见。。又该在robots.txt文件里怎么做呢??

  9. #12 自由职业者 回复 | 引用 2011-01-05 18:56

    不知道怎么看那个服务器日志,蜘蛛是到了哪里,不太会

  10. #13 OC 回复 | 引用 2010-12-23 12:25

    为什么要在robots.txt里面写入地图这个有什么好处吗?会不会把地图给屏蔽掉不是很懂想问问谢谢!

    • #14 萧涵 回复 | 引用 2010-12-23 16:51

      一般搜索引擎蜘蛛在访问网站时会首页访问robots.txt文件,如果里面有地图,它就会访问地图并抓取链接,并不是每个搜索引擎都有让你提交Sitemap的地方。

  11. #15 亿品元素 回复 | 引用 2010-11-22 21:37

    好像没有写关于单篇文章分页的禁止抓取?

  12. #16 bieguanwo 回复 | 引用 2010-10-26 10:33

    很棒,这些细节以前没注意过,日志也没怎么看过。呵呵学习了。

  13. #17 减肥药排行榜2010最新榜单 回复 | 引用 2010-07-10 11:30

    我是新手。把这个文件放到哪个位置啊,囧哥

    • #18 萧涵 回复 | 引用 2010-07-10 16:07

      呃,我不是囧哥,可能你进错啦,呵呵。
      放到根目录下。

  14. #19 回复 | 引用 2010-06-26 17:24

    屏蔽一些重复页面,这个方法比较好, 博客重覆的文章,是否可以哦

  15. #20 腰疼的原因 回复 | 引用 2010-06-12 10:01

    哈哈,好东西,感谢楼主的分享精神

  16. 哈 多谢分享啊

  17. #22 吾淘网 回复 | 引用 2010-05-31 21:07

    有没有好的wordpress地图生成工具。

    • #23 萧涵 回复 | 引用 2010-05-31 21:16

      你是说GOOGLE的XML格式地图还是?XML地图有插件的,HTML格式的我暂时还没用过,找到了告诉你。

  18. #25 回复 | 引用 2010-05-31 10:41

    Disallow: /*?replytocom=
    Disallow: /*?*
    下面一句是不是包含了上面一条规则 啊?

  19. #26 前端开发 回复 | 引用 2010-05-28 10:24

    中间的几条规则收益颇多,但不索引TAG是不是会影响我们网站的SEO呢?比如我就是用TAG来做二级的关键词

    • #27 萧涵 回复 | 引用 2010-05-28 10:50

      这个根据各人的具体情况而定的,有些是利用TAG来做关键词排名,而TAG确实能获取很不错的排名,因为每个TAG的内容是高度相关的。但目前我的博客不需要TAG的,所以屏蔽了。

  20. #28 HardinHolly 回复 | 引用 2010-05-27 08:37

    It’s well known that cash makes us disembarrass. But how to act if someone has no money? The only one way is to receive the credit loans and bank loan.

  21. #29 淘宝刷信用 回复 | 引用 2010-05-26 23:34

    欢迎回访!
    o(∩_∩)o

  22. #30 踏雪残情 回复 | 引用 2010-05-26 21:12

    我用这个蔽掉蜘蛛抓我的后台。^_^

  23. #31 博百优 回复 | 引用 2010-05-26 17:50

    原来一直认为重复的内容对百度很不友好,原来从这里控制住了。

  24. #32 老巴没九 回复 | 引用 2010-05-26 16:02

    是蛮有用的!

  25. #33 colin 回复 | 引用 2010-05-26 14:06

    兄弟,找了半天没发现留言板,只有跑这儿来写了。。。

    发现你的名字好像跟我一样的…..

    我的博客: http://blog.100-tea.com

  26. #35 博百优 回复 | 引用 2010-05-26 10:29

    不错,谢谢分享了

  27. #36 51bobaiyou 回复 | 引用 2010-05-26 09:26

    看到你的留言了我是www.51bobaiyou.com的QQ:126 163 1202
    你的QQ没有找到!

  28. #37 烘干机 回复 | 引用 2010-05-26 09:23

    其实这个东西蛮有用的!

发表评论