如何在AMH面板和Nginx环境下有效阻止大量爬虫请求？

Question

amh面板，ngnix环境，网站一直有大量请求（非真实用户）。同时连接数有大几百甚至上千，导致服务器一直满载，正常用户无法访问（正常用户就个位数）。AMH的防火墙似乎没用

1，停止网站nginx服务，请求依然；
2，防火墙不断去拦截IP，但持续不断，按IP封都始终杀不尽。自动拦截没有用
3，在配置文件中增加针对爬虫、非正常请求、频率的限制，都没有用

还有什么办法可以防止爬虫类的大量请求？

Answer 1

要看是什么爬虫，默认开启拦截恶意爬虫后是有一批预设名单，还有营销蜘蛛这个也开看看，
可以在分析异常页看都识别是什么爬虫或是什么其它特殊客户端信息，
如果都不在预设名单中就手动添加，(默认也有些是暂停状态，可开启)

像Amazonbot、gptbot那些爬虫也会有大量请求，
或如果没国外业务，可以直接在amnetwork禁止国外的访问。