多台从数据库向主数据库提交数据的问题?

    场景是从数据库主数据库数据时时更新,所以我写了个脚本,每分钟执行一次,读取到从数据库保存的用户最新金额消费记录实时上传到主数据库,然后会读取到大量用户信息其实也就是用户ID用户金额键值对数组,还有一个就是用户消费记录的上传,数据包括用户ID、消费金额、时间等;

暂时想到用curl的方式去和主数据库做交互,但是存在以下几点问题:

  1. 用户可能会有上百人,json一下用户数组,数据太大会不会造成数据丢失?消费记录也同理,每分钟的消费记录会达到千条左右;

  2. 之所以没有采用数据库主从配置是因为,主数据库有存在没电或者宕机的风险,所以才会跑定时,采用curl的方式进行传输

  3. 对了还有一个就是有多台从数据库,有可能存在同时主数据库提交数据的问题,这里是一个大问题。

  4. 其中的交互用的是主数据库所在服务器的API接口

  5. 有更优的解决方案欢迎交流

阅读 1.9k
1 个回答

谢邀

问题 3.

将多个从数据库的数据写入到redis中,主数据库开启定时脚本读取即可,读取后清空缓存
从数据库的数据在redis中形成队列,主数据库按条读取

问题 2.

这样即使主数据库宕机,redis中数据仍然存在,主数据库恢复后仍然可以读取队列中的数据

问题 1.

数据量在千条左右,curl中使用post方式传递数据,则可避免数据丢失
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题