搜索引擎占用大量流量解决步骤之一
上一篇文章路易大叔讲了博客带宽被搜索引擎大量消耗的问题,很多朋友都给出了建设性的意见,比较集中的有那么几个:一是通过各大引擎站长工具调整爬虫抓取频率,二是通过设置屏蔽某些搜索引擎蜘蛛抓取,三是更换无限流量主机。当然了还有其他的一些可行或者不可行的建议,大叔在这里就不一一列举了,不管怎样大叔一并表示感谢!
根据大家的意见,我首先采取第一种解决方法,那就是通过站长工具对搜索引擎蜘蛛的抓取行为进行限制。因为流量消耗排在前三的搜索引擎,第三款 Google 仅仅消耗了600M流量,可以不采取任何操作,排第二的蜘蛛 bot* 不知道是来自哪家,暂时不对其进行限制,首先对最大的带宽消耗大户百度搜索进行调整,以观后效。
1、首要要登录百度站长平台,如果没有注册的话当然要先注册。大叔很久之前已经注册过了,所以直接打开站长工具,点击左侧树形目录“网站分析—>抓取频次”,我们会看到一个当前数值的滑条,比如路易大叔这里是871次/天,代表了当前百度蜘蛛在你网站的抓取频次。
2、拖动滑条向“低”的方向滑动,最低减少50%的抓取频次,调整原因你可以随便选择,比如实事求是,选择“占用过多带宽”。
3、提交之后,比较坑爹的地方就在这里,会弹出一个提示框:为保证您网站的正常抓取,百度会将您的调整频次和网站实际情况综合考虑,因此并不能保证完全按照您的反馈进行调整。
4、于是你会看到,抓取频次仅仅从871次/天调整到了696次/天,而且实际的抓取次数还要看百度蜘蛛的心情。
9月才刚刚过去两天,还不能确定这种方式是不是管用,就让我们等待一段时间,以观后效吧。
历史上的今天
2013年:经验总结:辣椒的功效(89条评论)
2011年:练车·网络·博客(68条评论)
2010年:[文摘手打]004-抗战胜利65周年(33条评论)
2009年:纯爷们儿的歌:When A Man Loves A Woman(Michael Bolton)(7条评论)
2008年:《爱国者游戏(Patriot Games)》(0条评论)
2014/09/12 07:13:28
好热闹。
这个功能还真没听说过,等那天我的博客也达到贵站这个访问量的时候再试试
2014/09/15 02:22:09
大哥你就不要谦虚了
2014/09/15 08:51:05
到底占了多少?这么有必要。。。。我还希望多来呢
2014/09/17 21:43:53
占了总流量的60%呢,还是挺多的
2014/10/02 18:24:42
你这两个搜索引擎跟我那边提示的是一样一样的,一个是bot*,一个是spider.每天耗个几百兆流量。关键是我每天访问量很一般啊。。郁闷。你这边解决了没。
2014/10/17 01:11:55
问题还是没有解决,我只知道spider是百度蜘蛛,那个bot*完全不清楚是谁家的
2015/09/22 09:17:42
个人感觉,用处不大
2015/10/09 15:08:19
为什么会这么想呢