搜索引擎占用大量流量解决步骤之一

时间: 2014-09-03 / 分类: 软件网络 / 浏览次数: 11,574 / 79个评论 发表评论

上一篇文章路易大叔讲了博客带宽被搜索引擎大量消耗的问题,很多朋友都给出了建设性的意见,比较集中的有那么几个:一是通过各大引擎站长工具调整爬虫抓取频率,二是通过设置屏蔽某些搜索引擎蜘蛛抓取,三是更换无限流量主机。当然了还有其他的一些可行或者不可行的建议,大叔在这里就不一一列举了,不管怎样大叔一并表示感谢!

根据大家的意见,我首先采取第一种解决方法,那就是通过站长工具对搜索引擎蜘蛛的抓取行为进行限制。因为流量消耗排在前三的搜索引擎,第三款 Google 仅仅消耗了600M流量,可以不采取任何操作,排第二的蜘蛛 bot* 不知道是来自哪家,暂时不对其进行限制,首先对最大的带宽消耗大户百度搜索进行调整,以观后效。

1、首要要登录百度站长平台,如果没有注册的话当然要先注册。大叔很久之前已经注册过了,所以直接打开站长工具,点击左侧树形目录“网站分析—>抓取频次”,我们会看到一个当前数值的滑条,比如路易大叔这里是871次/天,代表了当前百度蜘蛛在你网站的抓取频次。

2、拖动滑条向“低”的方向滑动,最低减少50%的抓取频次,调整原因你可以随便选择,比如实事求是,选择“占用过多带宽”。

3、提交之后,比较坑爹的地方就在这里,会弹出一个提示框:为保证您网站的正常抓取,百度会将您的调整频次和网站实际情况综合考虑,因此并不能保证完全按照您的反馈进行调整。

4、于是你会看到,抓取频次仅仅从871次/天调整到了696次/天,而且实际的抓取次数还要看百度蜘蛛的心情。

9月才刚刚过去两天,还不能确定这种方式是不是管用,就让我们等待一段时间,以观后效吧。

历史上的今天

2013年:经验总结:辣椒的功效(89条评论)

2011年:练车·网络·博客(68条评论)

2010年:[文摘手打]004-抗战胜利65周年(33条评论)

2009年:纯爷们儿的歌:When A Man Loves A Woman(Michael Bolton)(7条评论)

2008年:《爱国者游戏(Patriot Games)》(0条评论)

2008年:《三陪保姆(The Babysitters)》(0条评论)

2008年:Google Chrome浏览器资源文章集合(0条评论)

79个评论

  1. 毕业生
    2014/09/03 08:26:21

    应该是有用的吧,要不要这功能干什么~!

  2. 灰狼
    2014/09/03 09:16:01

    个人感觉,用处不大

  3. 灰狼
    2014/09/03 09:18:52

    还是很难接收博客的严重BUG,提交评论后,title变成false,然后评论不会显示出来,要手工F5。。。

  4. Era
    2014/09/03 10:03:47

    博客放广告没?
    对百度联盟的广告有没有经验。

    • 路易大叔 Louis Han
      2014/09/03 13:25:15

      以前放过百度的广告,但是没有悲哀钱也取不出来,就全都换成公益广告了

      • Era
        2014/09/03 14:13:16

        公益广告不错哈》

    • 灰狼
      2014/09/03 10:36:10

      自己点击

  5. 香港云主机
    2014/09/03 10:10:44

    还不错,搜索引擎占用大量流量也是一件头疼的事情!

    7折主机折上折,买3送2,买5送5。http://www.henghost.com

  6. 逆袭网
    2014/09/03 10:41:56

    一天抓取这么多次 百度真疯啊

  7. 很黑很非洲
    2014/09/03 11:07:22

    无视百度,特别不要脸。

  8. 小癖好
    2014/09/03 11:42:47

    也许是站小,目前毫无压力,哈哈。

  9. aidd
    2014/09/03 11:52:51

    可以试一试。另外,请大家到小站www.aidd.me/hao的页面看下您的链接描述是否合适。

  10. aidd
    2014/09/03 11:57:20

    有时间到小站看下您的链接描述是否合适。谢谢。

  11. Simnovo
    2014/09/03 12:38:16

    还是直接换大流量的主机吧

  12. giant888
    2014/09/03 12:51:31

    发现我的百度站长工具里面还没有认证,赶紧补上了。
    也希望你的站点早日正常,避免折腾。

  13. 冠名网
    2014/09/03 14:15:48

    博主我怎么没发现百度站长工具有那个调节的功能啊。

  14. 梦轩丽人
    2014/09/03 14:16:42

    这个功能还真没使用过,等那天我的博客也达到贵站这个访问量的时候再试试

  15. xuexx
    2014/09/03 14:26:36

    这个功能还真没听说过,等那天我的博客也达到贵站这个访问量的时候再试试

  16. 上邪
    2014/09/03 19:09:20

    小博无压力

  17. 土木坛子
    2014/09/03 20:03:00

    我算服了你的主机了,人在国外,无法直接访问你的博客,弄得我用了TOR才能来访问……

    • 路易大叔 Louis Han
      2014/09/10 00:07:28

      我问了,为了防止攻击主机商直接屏蔽了北欧和南美IP段,你有独立IP吗

      • 墨说
        2014/09/10 18:48:03

        你问问你的主机商这还叫互联网吗?
        我有固定的IP,但我不会告诉你~我告诉你了即是同意你的主机商的这种小人做法。
        我直接用美国的VPN访问吧。
        人在欧洲,VPN美国。你的服务器在香港,你人在中国大陆,这来了一个圈了。

        • 路易大叔 Louis Han
          2014/09/10 23:50:57

          作为主机分销商这种做法确实是投机取巧,懒政思维,就跟有关部门尾号限行一个道理

    • Feiyoung
      2014/09/03 22:57:22

      国外翻到墙内看博客,这才是真爱。

  18. 老李
    2014/09/04 09:53:20

    蜘蛛爬的勤了也是麻烦啊

  19. Weidan
    2014/09/04 19:28:02

    最近邮件发的挺厉害的算不算蜘蛛- -?(原谅我是个PHP菜鸟)

  20. 破折君
    2014/09/04 21:49:50

    百度搜索蜘蛛貌似是挺消耗资源的~

  21. 郑永
    2014/09/05 11:29:07

    手机主题还不错,就是慢了点。

  22. 郑永
    2014/09/05 11:29:31

    可能我网速问题。

  23. 里念
    2014/09/05 12:05:56

    对这个不太在意,随他怎么爬!

  24. 尚磊
    2014/09/05 13:01:26

    百度的蜘蛛精估计是被你的bl系列吸引来的,高质量图太多,所以一次次来,流连忘返。

  25. 8090
    2014/09/05 15:15:02

    百度抓取的多是好事。不想抓取太多,可以Disallow图片

    • 路易大叔 Louis Han
      2014/09/10 07:24:49

      图片都是外部图床的,应该不会占用我的流量啊

      • 8090
        2014/09/10 13:47:45

        使用不限流量的服务器不就可以了嘛~ 该备案就备案把

  26. 电脑爱好者
    2014/09/05 16:59:04

    我巴不得蜘蛛多来呢 哈哈

  27. 旅行者
    2014/09/05 17:37:24

    这可以解决网站的大问题

  28. aunsen
    2014/09/05 18:00:42

    这尼玛这么坑爹?

  29. 李明
    2014/09/07 07:25:35

    学习了,我也去调整一下,我觉得垃圾评论机器消耗服务器资源也不少的。

  30. MurphyL
    2014/09/07 16:36:05

    多年没在乎流量,想必也不会超支…

评论分页: 1 2

发表评论

您的昵称 *

您的邮箱 *

您的网站