phpexcel读取超大excel并插入mysql 比较好的方案

Question

phpexcel读取超大excel并插入mysql,一般都是上5万条以上,有没有比较好的方案。

Answer 1

我的想法是尽可能压缩excel的文件大小,转成cvs格式读取解析也比较简单.
导入之前尽量把字段都填充到excel中,
后台程序读取excel然后直接批量插入数据库,
插入速度取决于你磁盘io性能 尽量使用ssd 还有就是你插入的目标表尽量减少索引等额外开销,
如果一定要字段索引的话 还是建议导入时先导入到缓存表内, 后台写程序逐步写入目标表 这样对于写入速度字段详细填充的数据等等都可以做比较多的优化操作.

缺点是实时性稍微差一点
优点是可以有效控制导入目标表时间,如 高峰时间不导入,导入速度可控等等

如果文件比较大的话再拆分成多个文件导入

Answer 2

excel表里面的列数尽可能少...无用的列就算没读取load进来还是占了内存