php 问题，关于大量数据问题。如何快速处理大批量数据

Question

在项目中需要通过采集 api 数据，其中每个 api 都会有大量数据返回。目前情况是 一百三十多个 api ，每个 api 的数据量在 1w 字符 到 10w 字符不等。获取到之后需要进行处理，判断是否是需要的（一般只需要它更新后的内容，之前有的写入数据库的可以不需要），然后进行保存数据，并做缓存处理。但在这个过程中，大概要做的处理操作次数为 130 * 150 ，19500+ 次。而且还需要做些其它操作。这样就导致了大量时间消耗，而在这个项目中需求的是一个快速的处理数据，保证数据的一个即时性。
这还只是在采集数据的一个问题，而在需要数据展示的时候还要对这批数据进行快速处理以供使用，所以现在对代码优化，数据处理方面的好方法。希望能给提供建议。python 也可以。

Answer 1

用新版本的生成器，yield