搜索引擎们是不是应该考虑下流量问题？

昨晚看本站的Cpanel（虚拟主机管理），本月流量居然超过了10G，我每月流量是15G，现在才过了一半，真是吓我一跳。因为以前整个月一般只有6－7GB，上次Virushuo说这事的时候我还不以为然。

Cpanel里的Analog统计如下：

#reqs   %bytes  organization

2818691 24.36%  61.135  

1954294 11.50%  202.160

759987  7.48%   220.181

看了下原始Log文件，61.135开头的是BaiduSpider+，大体有两个IP（61.135.145.204, 202.108.250.196），后一个IP也吃掉了2.2%的流量。202.160开头的是Yahoo，Yahoo看来有很多IP，不过这个段对这里 最厉害，大体是202.160.180.132/37/70/63等等，此外还有72.33.177., 68.142.249/250., 66.196.90/91.等等。220.181是新兴起的，叫sogou spider，以前是不是叫sohu agent？准确IP只观察到一个：220.181.19.95。

听说写robots.txt应该起作用，但又听说也许得2－4周的时候才发生效用，人家有技术难题，也没有办法。幸好Cpanel也提供一个IP Deny的功能，希望它发生效用吧，我已经把上述IP全部加入了，理论上应该能节约43.34%的流量。

求助一下，这3家的agent似乎是这样，robots.txt该怎么写呢？尤其是Yahoo！那个，总不能把Mozilla写上吧，似乎是写Slurp？。

"Baiduspider+(+http://www.baidu.com/search/spider.htm)"

"Mozilla/5.0 (compatible; Yahoo! Slurp China;http://misc.yahoo.com.cn/help.html)"

"Mozilla/5.0 (compatible; Yahoo! Slurp;http://help.yahoo.com/help/us/ysearch/slurp)"

"sogou spider"

2006-02-14 10:32:33，由cathayan发表。