目前每天有大约千万级别的域名需要做解析,现在有以下几个难题
1、域名解析成ip。
如果采用公司专线地址,估计跑ping或者nslookup几十万个解析公司网络就奔溃了。但是去买接口的话看了一下价格还是怕了(每天千万级别扛不住),想问一下解析这块有什么好的办法。
2、ip分辨境内外及CDN
这个我本来想着是以ip归属地的形式去分辨,,但是看了一下好像没有特别全的ip段地址(如果有小伙伴能提供的也可以),而且cdn也是一个大问题,,,包括本地字符串的比对,这么大级别的量不知道一天能不能跑完。
3、域名及ip白名单对比
千万级别域名和数万域名白名单对比
千万级别ip和数万ip白名单对比
这个是采用数据库的方式去比对还是写脚本直接读txt效率高,或者有没有更高效率的办法去对比,,,对比方式是模糊匹配(比如说白名单是www.baidu.com,域名原始格式可能是https://www.baidu.com/wenku/1...)
可以考虑采用布隆过滤器的方式来做