我准备在告诉别人网址之前先尽可能的做好SEO的准备工作。
昨天解决了permalinks的rewrite问题。今天来好好研究一下robot.txt。
至少对将来各个搜索引擎进行抓取的时候可以做一个试验性质的观察和操控。
对于robots.txt的写法百度已经做出了详细的解说，大家请先去参考一下这里进行入门。
那么对于wordpress而言当然要“对症下药”。
在此之前先参考了Moonlight Blog的写法，这种写法比较简单，七言博客做了中文翻译。
另外AskApache也写了一个针对wordpress的robot。对比了smartr的方法，我写了一个“综合版”。
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */comments
# disallow all files with ? in url
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
可能会有不对的地方，请留言指出。
