如何在nginx上防止恶意的ddos抓取

首先我对别人抓取我网站的内容完全没有意见,我也不是一定要严格限制别人抓取,但是某些人的抓取完全没有底线,用一个脚本甚至多个脚本并发的去抓取某个服务器的内容,跟ddos没有区别。

我的服务器目前就遇到了这样的情况,恶意的毫无停顿的抓取,严重影响了我们的日志分析,而且也额外增加了服务器的负载。

请问如何对这种行为做出防范?我用的是nginx服务器,据我所知它只能deny某个ip,但是deny以后还是会出现在日志中,只不过是403了。而且手动的deny太被动了,能否智能判断某个ip访问量猛增,然后把它ban掉?

阅读 23.1k
评论
    4 个回答
    • 196
      • 15.3k

      我也来提供一种解决思路,主要是利用fail2ban(http://www.fail2ban.org/)来解决。fail2ban是通过扫描log来异步判断是否用iptable封禁的,所以对原系统影响比较小,而且不需要重新配置nginx。不过不知道访问量太大是否撑得住。

      首先在/etc/fail2ban/jail.conf里加入

      [http-get-dos]
      enabled = true
      port = http,https
      filter = nginx-bansniffer
      logpath = /usr/local/nginx/logs/segmentfault.log
      maxretry = 120
      findtime = 120
      bantime = 3600
      action = iptables[name=HTTP, port=http, protocol=tcp]

      然后找到/etc/fail2ban/filter.d/nginx-bansniffer.conf,把里面针对404的判断改成

      [Definition]
      
      failregex = <HOST> -.*- .*HTTP/1.* .* .*$
      ignoreregex =

      最后重启fail2ban服务即可,在上面的配置中,我们对每120秒有超过120次访问的ip,封禁1小时。

        1. 根据User-Agent阻止spider抓取

        ## Block download agents ##
             if ($http_user_agent ~* WebZIP|wget) {
                    return 403;
             }
        ##

        2. 在操作系统Firewall建立规则,限制同一个IP的同时连接数
        以Linux下的iptables为例,如下配置将限制同一个IP一分钟内最多建立15个连接,超出的连接会被iptables丢弃,不会到达nginx

        /sbin/iptables -A INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --set
        /sbin/iptables -A INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --update --seconds 60  --hitcount 15 -j DROP
        service iptables save

        3. 自己写个bash脚本统计各IP访问频率,自动将频率超过你设定的上限的IP扔到黑名单里
        黑名单里的IP,用脚本自动写入iptables或者nginx.conf,封禁它几分钟,或者降低他的许可访问频率

        我以前在yahoo的时候用一个叫YDoD(Yahoo! Department of Defense)的apache模块,可以自定义规则防止外部滥用我们的WEB服务,到了淘宝后改了个名字叫tdod,找了一圈,没找到开源的。不过原理跟我上面说得也差不多。

          • 1
          • 新人请关照

          试试ngx_lua_waf
          https://github.com/loveshell/ngx_lua_waf
          功能:

          防止sql注入,本地包含,部分溢出,fuzzing测试,xss,SSRF等web攻击
          防止svn/备份之类文件泄漏
          防止ApacheBench之类压力测试工具的攻击
          屏蔽常见的扫描黑客工具,扫描器
          屏蔽异常的网络请求
          屏蔽图片附件类目录php执行权限
          防止webshell上传
          
            撰写回答

            登录后参与交流、获取后续更新提醒

            相似问题
            推荐文章