搜索引擎占用大量流量解决步骤之一
上一篇文章路易大叔讲了博客带宽被搜索引擎大量消耗的问题，很多朋友都给出了建设性的意见，比较集中的有那么几个：一是通过各大引擎站长工具调整爬虫抓取频率，二是通过设置屏蔽某些搜索引擎蜘蛛抓取，三是更换无限流量主机。当然了还有其他的一些可行或者不可行的建议，大叔在这里就不一一列举了，不管怎样大叔一并表示感谢！
根据大家的意见，我首先采取第一种解决方法，那就是通过站长工具对搜索引擎蜘蛛的抓取行为进行限制。因为流量消耗排在前三的搜索引擎，第三款 Google 仅仅消耗了600M流量，可以不采取任何操作，排第二的蜘蛛 bot* 不知道是来自哪家，暂时不对其进行限制，首先对最大的带宽消耗大户百度搜索进行调整，以观后效。
1、首要要登录百度站长平台，如果没有注册的话当然要先注册。大叔很久之前已经注册过了，所以直接打开站长工具，点击左侧树形目录“网站分析—>抓取频次”，我们会看到一个当前数值的滑条，比如路易大叔这里是871次/天，代表了当前百度蜘蛛在你网站的抓取频次。
2、拖动滑条向“低”的方向滑动，最低减少50%的抓取频次，调整原因你可以随便选择，比如实事求是，选择“占用过多带宽”。
3、提交之后，比较坑爹的地方就在这里，会弹出一个提示框：为保证您网站的正常抓取，百度会将您的调整频次和网站实际情况综合考虑，因此并不能保证完全按照您的反馈进行调整。
4、于是你会看到，抓取频次仅仅从871次/天调整到了696次/天，而且实际的抓取次数还要看百度蜘蛛的心情。
9月才刚刚过去两天，还不能确定这种方式是不是管用，就让我们等待一段时间，以观后效吧。
历史上的今天
2013年：经验总结：辣椒的功效（89条评论）
2011年：练车·网络·博客（68条评论）
2010年：[文摘手打]004-抗战胜利65周年（33条评论）
2009年：纯爷们儿的歌：When A Man Loves A Woman(Michael Bolton)（7条评论）
2008年：《爱国者游戏（Patriot Games）》（0条评论）
Flag Counter
2014/09/12 07:13:28
好热闹。
这个功能还真没听说过，等那天我的博客也达到贵站这个访问量的时候再试试
2014/09/15 02:22:09
大哥你就不要谦虚了
2014/09/15 08:51:05
到底占了多少？这么有必要。。。。我还希望多来呢
2014/09/17 21:43:53
占了总流量的60%呢，还是挺多的
2014/10/02 18:24:42
你这两个搜索引擎跟我那边提示的是一样一样的，一个是bot*，一个是spider.每天耗个几百兆流量。关键是我每天访问量很一般啊。。郁闷。你这边解决了没。
2014/10/17 01:11:55
问题还是没有解决，我只知道spider是百度蜘蛛，那个bot*完全不清楚是谁家的
2015/09/22 09:17:42
个人感觉，用处不大
2015/10/09 15:08:19
为什么会这么想呢