user-pic

通过robots.txt文件保护MovableType后台

Vote 0 Votes

Movabletype 如果经常调用cgi 页面,会让服务器负荷增加,特别是在WIN主机中以perl.exe 方式运行的时候(一个cgi页面就会产生一个perl.exe,占CPU约20%)。因此我们应该设置搜索引擎无法收录后台.cgi的页面,使服务器得到最合理的利用。

并且控制后台cgi 页面的收录,对防止spam也有好处。我建议小型BSP都应该合理的使用robots.txt文件,来控制通过搜索引擎近来的spam 机器人(OBLOG中最好设置reg.asp页面不被收录)。

那么如何禁止搜索引擎收录MT后台页面呢?

您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

robots.txt文件用法可参考此文

当然控制搜索会带来流量的减少,比如在通过cgi 页面实现的TAG,SEARCH 功能都将无法被搜索引擎收录。

我觉得作为Blogger 没必要对这种流量看的太重,搜索引擎只是为大家提供有用的信息,这些TAG、SEARCH 只是将你的文章进行汇总,主要功能是文章联系便于读者阅读,其本身并没太大的收录价值。并且这些TAG、Search 只会和你被收录的文章重复,从某个程度减少文章的搜索量。

1 Reply

| Add a Reply
  • cgi-bin目录少点爬虫也没什么不好的,流量虽然少一点,但那些爬虫(尤其是百度的)爬过cgi文件的时候,系统的符合是很恐怖的。

Add a Reply

Forum Groups

Blogcs 基于MT平台的BSP

MovableType 中文化

1 0

Last Topic: Movable Type 中文化 - 平生一笑 by bb on 2008年10月11日

1 0

Last Topic: Zhu8's Weblog:猪八的网:浮生志 by Zhu8 on 2008年10月16日

MovableType 问题咨询

Be the first to post a topic in this forum

MovableType 使用

16 11

Last Topic: Image::Magick 模块的安装 by bb on 2008年11月 9日

30 35

Last Topic: MT-Twitter:将MT文章同步到Twitter by bb on 2008年3月 9日

22 1

Last Topic: 修改MT的作者归档路径 by bb on 2008年10月25日

MovableType 模板

Be the first to post a topic in this forum

22 17

Last Topic: MovableType评论格式化 replies-to-replies by bb on 2008年10月15日

MovableType 延伸

14 17

Last Topic: 从Wordpress转移到Movabletype by bb on 2007年5月12日

2 2

Last Topic: 最新版MovableType 4.22 已经发布 by bb on 2008年11月19日