上十万条的数据导出到csv文档的思路

现在需要开发一个下载筛选的数据到csv文档的功能,但是数据量比较大(200条至20万条记录),请阐述你将会遇到的问题,并且你将采取什么措施来避免这些问题的发生?

阅读 1.8k
1 个回答

我的方案是:

分批次写入csv文档
建立一个任务缓存信息 如任务编号,文件地址,已经写入多少了等信息
前端轮询 第一次获取缓存信息 以后更具缓存信息来判断继续轮询还是结束开始下载csv 
轮询的时候对将查询的信息格式化追加到csv文件内 更新任务缓存信息 返回给前端
当然用队列也可以
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题