for循环数据量很大,很卡

现在有一个功能是 先去找数据库 需要抓取的数据
然后 for循环,先调用第三方的接口,然后操作一下,入库
最后for循环完了一次性提交事物
这回导致很卡,有什么办法吗

阅读 741
评论
    6 个回答

    第一,入库操作如果是在自己的系统;
    第二,第三方接口如果是rpc接口的话.

    那么系统的性能瓶颈就是上面两个,优化的方案建议是:

    1. 第三方接口提供批量查询接口
    2. 数据返回以后,在内存里循环组装数据,然后再批量入库
    3. 第三方接口加上redis缓存,可以显著提高查询速度。

    1 or 2 or 3,都可以提升性能,1+2+3最优(我们生产环境上就是这样)。

      相似问题
      推荐文章