这是个虚拟的问题，假设我有一个TXT文件，里面有10亿个QQ号（一行一条），其中可能有千万级别重复的号码，如何最快的去重呢？
我没试过这么大的量，楼主也没虚拟使用场景，所以我也虚拟一个答案
我会开一台oracle之类实例，设置唯一键，然后把这些QQ号导入进db，db报错的就是重复的，忽略错误继续跑
如果oracle也吃不消（我也不知道吃不吃得消），就切片，导入100张表，单表1000万行绝对吃得消，利用db排序后导出，再和其他文件拼合继续导入。
宣传栏
我没试过这么大的量，楼主也没虚拟使用场景，所以我也虚拟一个答案
我会开一台oracle之类实例，设置唯一键，然后把这些QQ号导入进db，db报错的就是重复的，忽略错误继续跑
如果oracle也吃不消（我也不知道吃不吃得消），就切片，导入100张表，单表1000万行绝对吃得消，利用db排序后导出，再和其他文件拼合继续导入。
存进一个Map，然后遍历。
利用Map不存在相同key的特性。