for循环数据量很大,很卡

现在有一个功能是 先去找数据库 需要抓取的数据
然后 for循环,先调用第三方的接口,然后操作一下,入库
最后for循环完了一次性提交事物
这回导致很卡,有什么办法吗

阅读 741
评论
    6 个回答

    首先,如果第三方接口不支持批量的话,可以建议支持批量,这样可以避免大量循环调第三方接口,把待处理数据分每100条(根据数据量而定)调一次第三方接口,循环次数 = 查询出来的总数据/100,然后一次提交事务,如果第三方接口批量支持的可以的话,应该没问题

    如果第三方不支持批量,也是建议对数据分批处理,每100条(根据数据量而定)处理一次,包括调接口到提交事务的完整过程

      相似问题
      推荐文章