Movabletype 如果经常调用cgi 页面,会让服务器负荷增加,特别是在WIN主机中以perl.exe 方式运行的时候(一个cgi页面就会产生一个perl.exe,占CPU约20%)。因此我们应该设置搜索引擎无法收录后台.cgi的页面,使服务器得到最合理的利用。
并且控制后台cgi 页面的收录,对防止spam也有好处。我建议小型BSP都应该合理的使用robots.txt文件,来控制通过搜索引擎近来的spam 机器人(OBLOG中最好设置reg.asp页面不被收录)。
那么如何禁止搜索引擎收录MT后台页面呢?
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。
robots.txt文件用法可参考此文。
当然控制搜索会带来流量的减少,比如在通过cgi 页面实现的TAG,SEARCH 功能都将无法被搜索引擎收录。
我觉得作为Blogger 没必要对这种流量看的太重,搜索引擎只是为大家提供有用的信息,这些TAG、SEARCH 只是将你的文章进行汇总,主要功能是文章联系便于读者阅读,其本身并没太大的收录价值。并且这些TAG、Search 只会和你被收录的文章重复,从某个程度减少文章的搜索量。

cgi-bin目录少点爬虫也没什么不好的,流量虽然少一点,但那些爬虫(尤其是百度的)爬过cgi文件的时候,系统的符合是很恐怖的。