Nginx作为现在使用最广泛的高性能后端服务器，Openresty为之提供了动态预言的灵活，当性能与灵活走在了一起，无疑对于被之前陷于臃肿架构，苦于提升性能的工程师来说是重大的利好消息，本文就是在这种背景下，将初入这一未知的领域之后的一些经验与大家分享一下，若有失言之处，欢迎指教。

根据 Aberdeen Group 在近期发布的以北美几百家公司数据为样本的爬虫调查报告显示，2015 年网站流量中的真人访问仅为总流量的 54.4% ，剩余的流量由 27% 的好爬虫和 18.6% 的恶意爬虫构成。

爬虫和反爬虫日益成为每家公司的标配系统。爬虫在情报获取、虚假流量、动态定价、恶意攻击、薅羊毛等方面都能起到很关键的作用，所以每家公司都或多或少的需要开发一些爬虫程序，业界在这方面的成熟的方案也非常多；有矛就有盾，每家公司也相应的需要反爬虫系统来达到数据保护、系统稳定性保障、竞争优势保持的目的。