如何利用Robots.txt优化你的WordPress站点
author:大发SEOUser-agent:?*
Disallow:?/wp-admin/
Disallow:?/wp-content/
Disallow:?/wp-includes/
Disallow:?page/
Disallow:?/tagtrackback
Disallow:?/feed
Disallow:s=*
Disallow:?comment-page-*和Disallow: page/和Disallow: /tagtrackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: ?s=*
禁止搜索引擎抓取站内搜索结果
7、Disallow:?/*?*
禁止搜索抓取动态页面
8、Disallow: /attachment/
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
上面只是些基本的写法,当然还有很多,不过够用了。
如何行使robots协议优化你的WordPress博客站,robots.txt详解!