给micolog添加抓取工具访问(robots.txt)

对于micolog博客程序，如果想用google的网站管理员工具来诊断和管理博客，并想使用抓取工具访问来引导抓取机器人或者限制抓取机器人，都要使用robots.txt 文件，而且robots.txt 必须放在网站根目录下，例如http://www.houkai.com/robots.txt

那么如何设置呢？

1、将文件robots.txt放到static目录下。

2、给app.yaml添加如下代码（红色部分）：

- url: /admin/.*
  script: admin.py

- url: /admin
  script: admin.py

- url: /robots\.txt
  static_files: static/robots.txt
  upload: static/robots.txt
  mime_type: text/plain

- url: /.*
  script: blog.py

 

注意： 红色部分一定要放在绿色部分的上面（感谢jude的提示）

如果红色部分的代码在最下面，那么可以使用 http://www.houkai.com/static/robots.txt 来访问robots文件！
但抓取机器人就不认了！