PHP查询传输大量数据如何设计方案？

Question

请教各位大佬，现在有一个需求：
php 从 es 查询数据，大概有 30w，然后做一个处理，然后调用接口传输给第三方。现在我是游标查询 es，每次 1000条，然后 swoole 异步处理过后传输，但是这个效率太低了，处理完就远超24小时，而这个事情每天都需要处理一遍，请问下大家有啥好的想法嘛？

Answer 1

问题描述不是很清晰，没办法提供优化建议，只说了个背景。

每次处理 1000 条，如果每秒处理完，那也就是 300 秒的事情，需要一天？

Answer 2

先查询出来ID 然后in数据就行了，我两百万的数据，也就40秒就导入完成了，

Answer 3

可以写入文件，压缩文件，传文件

Answer 4

你不会是一条一条发吧 那就是30W个请求唉...