PHP大量数据数据导入

现在有个需求,要把excel数据导入到数据表中,但数据量比较大,最多的时候一次要导入几十W条数据,导入的数据不是直接写db的,是走接口的,接口一次性最多处理1000条,耗时比较长,现在有个想法,想把这个做成任务式的导入,每次导入就是创建一个导入任务,把所有任务做成队列,依次完成导入任务,有什么好的方法和建议

阅读 7.1k
6 个回答

你的想法很好,可惜PHP不适合做这种事情,建议用Java之类的语言来实现你的想法。

PHP有了任务,直接把任务参数提交到数据库。

Java在后台每100ms访问一次数据库,看看有没有任务,有就处理。

  1. mysql load data infile 将数据快速导入到临时表

  2. php守护进程分批将数据往接口同步(或者crontab写定时任务)

php默认30秒 ;你可以加个set_time_limit(99999999);
几十万数据 应该是不要1分钟就倒完了

Crontab + task list 做后台异步任务,很适合这种场景

php拼接成sql,直接mysql后台source导入

最好是分段导入,不要一次性导入

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题