python 读取并处理本地mysql怎么加快速度?

我本地数据库mysql大概有100W条,其中的某一个字段要做处理,
我就读取一条处理一次,然后post到网站的接口。
但是实在太慢了,平均一秒钟处理一条。
请问要怎么加快读取mysql速度?用多线程吗?
谢谢。

阅读 5.8k
3 个回答

还没有搞明白你的意思
本地有个数据库,
POST到网站接口上,是不是在线还有一个数据库
要把本地的数据库里的内容修改同步到线上?是不是这个意思
如果是的话 100w条数据。直接操作数据库啊,还通过http干什么

“读取一条处理一次”是啥意思?不会是每次select一条数据吧?
我觉得主要时间应该都花费在调用接口上了吧。
接口是否可以批量更新数据,或者你处理完直接批量入库,不通过接口?
执行什么样的处理?通过sql本身能否实现?

①设置该字段是索引;
②如果是迁移数据库的话,那就直接导出数据库或者直接复制mysql 目录下面的data相关文件;
③可以分表,100w可以分5个表,每个表20w条数据;

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏