python pymysql数据迁移

新手上路,请多包涵

场景:

A表中的数据迁移到C表中,但是在迁移过程中需要根据A表中的某一个数据为条件去B表中查询到,并一起放到C表中

目前方案:

分页查询,每次查询100条数据,首先通过sql把数据组装好,然后批量导入

例子:

查询sql:
select t.* from (select id, name, age, (select id from tb_stu_class stu_id = id) as class_id from tb_student limit 0, 100) t

插入sql:
insert into tb_student(id, name, age, class_id) values (), (), ()...

问题一:

    一百万条数据操作,多长时间最为合适?

问题二:

    pymysql.fetchall(),调用此方法是,一但数据为空元组,会查询很慢,这是为什么?

问题二:

    求一个最为合适的优化方案
阅读 1.3k
1 个回答

如果没有啥复杂的逻辑,或者严格时间要求,直接用select into写入新表得了。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题