如何在nginx上防止恶意的ddos抓取

Beeker
  • 386

首先我对别人抓取我网站的内容完全没有意见,我也不是一定要严格限制别人抓取,但是某些人的抓取完全没有底线,用一个脚本甚至多个脚本并发的去抓取某个服务器的内容,跟ddos没有区别。

我的服务器目前就遇到了这样的情况,恶意的毫无停顿的抓取,严重影响了我们的日志分析,而且也额外增加了服务器的负载。

请问如何对这种行为做出防范?我用的是nginx服务器,据我所知它只能deny某个ip,但是deny以后还是会出现在日志中,只不过是403了。而且手动的deny太被动了,能否智能判断某个ip访问量猛增,然后把它ban掉?

评论
阅读 23.4k
4 个回答
✓ 已被采纳

我也来提供一种解决思路,主要是利用fail2ban(http://www.fail2ban.org/)来解决。fail2ban是通过扫描log来异步判断是否用iptable封禁的,所以对原系统影响比较小,而且不需要重新配置nginx。不过不知道访问量太大是否撑得住。

首先在/etc/fail2ban/jail.conf里加入

[http-get-dos]
enabled = true
port = http,https
filter = nginx-bansniffer
logpath = /usr/local/nginx/logs/segmentfault.log
maxretry = 120
findtime = 120
bantime = 3600
action = iptables[name=HTTP, port=http, protocol=tcp]

然后找到/etc/fail2ban/filter.d/nginx-bansniffer.conf,把里面针对404的判断改成

[Definition]

failregex = <HOST> -.*- .*HTTP/1.* .* .*$
ignoreregex =

最后重启fail2ban服务即可,在上面的配置中,我们对每120秒有超过120次访问的ip,封禁1小时。

1. 根据User-Agent阻止spider抓取

## Block download agents ##
     if ($http_user_agent ~* WebZIP|wget) {
            return 403;
     }
##

2. 在操作系统Firewall建立规则,限制同一个IP的同时连接数
以Linux下的iptables为例,如下配置将限制同一个IP一分钟内最多建立15个连接,超出的连接会被iptables丢弃,不会到达nginx

/sbin/iptables -A INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --set
/sbin/iptables -A INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --update --seconds 60  --hitcount 15 -j DROP
service iptables save

3. 自己写个bash脚本统计各IP访问频率,自动将频率超过你设定的上限的IP扔到黑名单里
黑名单里的IP,用脚本自动写入iptables或者nginx.conf,封禁它几分钟,或者降低他的许可访问频率

我以前在yahoo的时候用一个叫YDoD(Yahoo! Department of Defense)的apache模块,可以自定义规则防止外部滥用我们的WEB服务,到了淘宝后改了个名字叫tdod,找了一圈,没找到开源的。不过原理跟我上面说得也差不多。

sentry
  • 1
新手上路,请多包涵

试试ngx_lua_waf
https://github.com/loveshell/ngx_lua_waf
功能:

防止sql注入,本地包含,部分溢出,fuzzing测试,xss,SSRF等web攻击
防止svn/备份之类文件泄漏
防止ApacheBench之类压力测试工具的攻击
屏蔽常见的扫描黑客工具,扫描器
屏蔽异常的网络请求
屏蔽图片附件类目录php执行权限
防止webshell上传
撰写回答

登录后参与交流、获取后续更新提醒

宣传栏