现在有个需求,要把excel数据导入到数据表中,但数据量比较大,最多的时候一次要导入几十W条数据,导入的数据不是直接写db的,是走接口的,接口一次性最多处理1000条,耗时比较长,现在有个想法,想把这个做成任务式的导入,每次导入就是创建一个导入任务,把所有任务做成队列,依次完成导入任务,有什么好的方法和建议
你的想法很好,可惜PHP不适合做这种事情,建议用Java之类的语言来实现你的想法。
PHP有了任务,直接把任务参数提交到数据库。
Java在后台每100ms访问一次数据库,看看有没有任务,有就处理。