文章标签 ‘重复页面’
2010五月26

为本博客创建了Robots.txt文件,屏蔽一些重复页面

今天分析本站的服务器日志时,发现蜘蛛爬行了很多重复的页面,比如评论分页什么的,爬得最多的是这种页面:

[25/May/2010:13:02:43 +0800] “GET /201005283.html?replytocom=155 HTTP/1.1″ 200 22851 “-” “Baiduspider

虽然这些对SEO影响不是特别大,但很多细节我认为还是要注意的。所以我给博客[......]

继续阅读