php + mysql大批量数据写入

用php如何快速的导入百万条数据进入数据库,有没有什么解决方案?

尝试过设置set_time_limit()但是时间太久了,
利用事务提交也是会超过内存大小。

请问还有没有其他方案提交大批量数据,并且怎么优化至效率最高?

阅读 733
评论 2019-06-12 提问
    10 个回答

    抛开语言,导入大量数据如果你有现成的数据文件的话,可以用LOAD DATA

        数据量过大的话还是建议分开放入队列中执行,执行的时候优化下入表的语句过程就可以

          鸟哥说过有yield可以试一哈。

            设置使用内存大小,或者分批定时导入 每隔2分钟5万条

              • 693

              建议使用cli命令行运行,无限制执行时间

                既然是php,你不会不知道php可以cli运行吧

                  • 2
                  • 新人请关照

                  用php组装好SQL,写入到文件(如data.sql),然后用Mysql导入试试。

                    数据来源是什么?sql文件?txt文件还是其他?
                    php编写一个程序,一次读取500条,分批次导入。

                      • 1
                      • 新人请关照

                      for循环 想加多少加多少

                        撰写回答

                        登录后参与交流、获取后续更新提醒