搜索引擎占用大量流量,求破

时间: 2014-09-01 / 分类: 个人心情 / 浏览次数: 14,205 / 106个评论 发表评论

已经连续两个月了,月底的最后几天,主机购买的带宽就不够用了,打开网站直接报错,搞得我很郁闷。7月份是到最后一天流量告罄,赶紧找戈戈增加了一些带宽度过了饥荒,结果8月份27日就用尽带宽,赶紧找来戈戈给加了10%的带宽,结果刚过不到两天又要完蛋,只好再次腆着脸找戈戈加带宽,这次一下给加了5GB,希望不用再要求增加带宽了。

登陆 cPanel 面板查看 Awast 统计信息,每天的访问流量还是很正常的。每天的访问人数在1500-2300,页面访问量在6000-13000,算是比较正常的访问量,在这种情况下最多每天的流量也不会超过600M。

可是看看整体流量纪录,会发现非浏览器流量要超过浏览器流量很多,也就是说大部分的带宽都不是通过正常网页访问消耗的。这其中包括搜索引擎机器人以及其他非正常的HTTP相应,我猜垃圾评论群发软件也消耗了不少的流量。

再看看搜索引擎网站机器人统计数据,发现大部分流量被一个标识为”spider“和一个”bot*“消耗掉了,竟然达到了10G+,而收录量最大的 Google 反而仅消耗了600M+的流量。我们都知道标识为”spider“的是百度蜘蛛,而那个”bot*“我搜索了半天也没闹清楚这是哪家的蜘蛛。

这么看来,每个月大半带宽被无良的搜索引擎消耗掉,实在是浪费又可惜。可是路易大叔不知道解决办法,请问万能的诸位有什么方法可破?

历史上的今天

2016年:归来的话(25条评论)

2015年:泉城海洋极地世界自驾游(手机照片)(50条评论)

2013年:快乐星期天273:一周美女秀(58)(45条评论)

2011年:签到获得空间的网盘(90条评论)

2009年:使用LicenseCrawler找回软件序列号和注册码(1条评论)

2009年:如何找回丢失的软件序列号[译文98](0条评论)

2008年:《主管争夺战(The Promotion)》(0条评论)

2008年:《单身派对2:最后的诱惑(Bachelor Party 2:The Last Temptation)》(0条评论)

2008年:身体不适(0条评论)

2007年:世界上最早的一百个域名(0条评论)

106个评论

  1. huangjun
    2014/09/02 15:58:32

    我后台的垃圾评论,几分钟就有上百条,好烦躁!

  2. SoleilNeon
    2014/09/02 16:26:39

    原来百度这么耗流量,还真没在意过

  3. 天长地久
    2014/09/02 19:05:12

    屏蔽度娘
    或者找个无限流量的主机

  4. 梦轩丽人
    2014/09/02 21:07:01

    这种情况还真没有遇到过,也不懂如何解决,只能路过了

  5. cp71305
    2014/09/02 21:39:57

    带宽不够用,我也碰到几次,但是连原因都查不出来,丢人啊~~~

  6. zhiwei
    2014/09/02 21:53:50

    像那些小的搜索引擎就屏蔽掉吧,没什么用,还得老是抓网页。

  7. Az
    2014/09/02 23:02:56

    有效的办法还是换个免流量的,就算这个调好了!以后访问上增长了还是不够用。。。

  8. 我为卿狂
    2014/09/03 11:57:36

    是否可通过设置robots.txt屏蔽搜索引擎,或者WP是否有相关插件来进行屏蔽抓取。http://jingyan.baidu.com/article/d5c4b52b3f6b38da560dc590.html

  9. 灵尘子
    2014/09/03 13:04:17

    每天2000的流量,很不错啊。

  10. xuexx
    2014/09/03 14:33:02

    我也遭遇过这个蛋痛问题,把每月流量前几名、数百兆乃至上G的IP、IP段给封了,就没什么事了。只是有有次Hugege给我把Google IP也封掉了,搞了很久我才发现被谷歌拔毛是这原因。

  11. 从良未遂
    2014/09/03 15:36:08

    有时候有这种担心也是一种幸福啊:你这访问量太大了

  12. 土木坛子
    2014/09/03 20:02:07

    什么主机呢?还担心流量不够?
    机器人的流量再多,也不会多到你买不起啊。
    建议直接屏蔽那个耗费过多流量的机器蜘蛛吧,除了百度和GOOGLE外,其它的搜索引擎真的忽略不计。
    我直接禁止了百度的蜘蛛……不过,它貌视还来……

  13. 百家网络博客
    2014/09/04 18:31:23

    我一般都买无限流量的~

  14. 郑永
    2014/09/05 11:31:30

    这是爬虫的数据还是流览量。

  15. 8090
    2014/09/06 01:23:49

    换阿里云吧,一年大概500块。我现在平均一天1500PV左右。没压力

  16. 晨曦
    2014/09/06 14:35:24

    买个vps或者好点的主机就是,小事

评论分页: 1 2

发表评论

您的昵称 *

您的邮箱 *

您的网站