搜索引擎占用大量流量解决步骤之一

时间: 2014-09-03 / 分类: 软件网络 / 浏览次数: 8,577 / 79个评论 发表评论

上一篇文章路易大叔讲了博客带宽被搜索引擎大量消耗的问题,很多朋友都给出了建设性的意见,比较集中的有那么几个:一是通过各大引擎站长工具调整爬虫抓取频率,二是通过设置屏蔽某些搜索引擎蜘蛛抓取,三是更换无限流量主机。当然了还有其他的一些可行或者不可行的建议,大叔在这里就不一一列举了,不管怎样大叔一并表示感谢!

根据大家的意见,我首先采取第一种解决方法,那就是通过站长工具对搜索引擎蜘蛛的抓取行为进行限制。因为流量消耗排在前三的搜索引擎,第三款 Google 仅仅消耗了600M流量,可以不采取任何操作,排第二的蜘蛛 bot* 不知道是来自哪家,暂时不对其进行限制,首先对最大的带宽消耗大户百度搜索进行调整,以观后效。

1、首要要登录百度站长平台,如果没有注册的话当然要先注册。大叔很久之前已经注册过了,所以直接打开站长工具,点击左侧树形目录“网站分析—>抓取频次”,我们会看到一个当前数值的滑条,比如路易大叔这里是871次/天,代表了当前百度蜘蛛在你网站的抓取频次。

2、拖动滑条向“低”的方向滑动,最低减少50%的抓取频次,调整原因你可以随便选择,比如实事求是,选择“占用过多带宽”。

3、提交之后,比较坑爹的地方就在这里,会弹出一个提示框:为保证您网站的正常抓取,百度会将您的调整频次和网站实际情况综合考虑,因此并不能保证完全按照您的反馈进行调整。

4、于是你会看到,抓取频次仅仅从871次/天调整到了696次/天,而且实际的抓取次数还要看百度蜘蛛的心情。

9月才刚刚过去两天,还不能确定这种方式是不是管用,就让我们等待一段时间,以观后效吧。

历史上的今天

2013年:经验总结:辣椒的功效(89条评论)

2011年:练车·网络·博客(68条评论)

2010年:[文摘手打]004-抗战胜利65周年(33条评论)

2009年:纯爷们儿的歌:When A Man Loves A Woman(Michael Bolton)(7条评论)

2008年:《爱国者游戏(Patriot Games)》(0条评论)

2008年:《三陪保姆(The Babysitters)》(0条评论)

2008年:Google Chrome浏览器资源文章集合(0条评论)

79个评论

  1. 神父
    2014/09/12 07:13:28

    好热闹。
    这个功能还真没听说过,等那天我的博客也达到贵站这个访问量的时候再试试

  2. ysbinang
    2014/09/15 08:51:05

    到底占了多少?这么有必要。。。。我还希望多来呢

  3. DiDi
    2014/10/02 18:24:42

    你这两个搜索引擎跟我那边提示的是一样一样的,一个是bot*,一个是spider.每天耗个几百兆流量。关键是我每天访问量很一般啊。。郁闷。你这边解决了没。

    • 路易大叔 Louis Han
      2014/10/17 01:11:55

      问题还是没有解决,我只知道spider是百度蜘蛛,那个bot*完全不清楚是谁家的

  4. 阴极保护
    2015/09/22 09:17:42

    个人感觉,用处不大

评论分页: 1 2

发表评论

您的昵称 *

您的邮箱 *

您的网站