1我就循环上面的数组
2换区大量数据
3使用事务批量插入?
我想的就是33个定时任务。分隔下不同时间执行。这样对服务器压力小
我拿取所有数据186秒,拿去1个数据4秒
http协议是短链接。所有一起搞会超时的
我分成33个小分。执行。这样每个请求不会超时。只是数据插入总时间延长了(我这个就是半夜定时搞的)
1我就循环上面的数组
2换区大量数据
3使用事务批量插入?
我想的就是33个定时任务。分隔下不同时间执行。这样对服务器压力小
我拿取所有数据186秒,拿去1个数据4秒
http协议是短链接。所有一起搞会超时的
我分成33个小分。执行。这样每个请求不会超时。只是数据插入总时间延长了(我这个就是半夜定时搞的)
5 回答3.2k 阅读✓ 已解决
3 回答3.6k 阅读✓ 已解决
1 回答4.1k 阅读✓ 已解决
3 回答1.9k 阅读✓ 已解决
2 回答2.2k 阅读✓ 已解决
2 回答2.8k 阅读✓ 已解决
5 回答1.4k 阅读
简单处理
1、先将换回的数据写入redis队列里,
2、phpjava 等 写一个消费脚本,将redis队列数据消费掉。后台自动跑。(linux挂个守护进程)
3、消费脚本中的得到的数据批量写入mysql。(根据配置的最大字符串来确定每次批量写入多少条(100、1000、10000)数据).