java并发处理一个表中的大量数据,如何设置检查点,以便用于失败恢复,而不是重复处理处理过的数据?

java并发处理一个表中的大量数据,如何设置检查点,以便用于失败恢复,而不是重复处理处理过的数据?

比如在处理过程中,系统宕机,kill -9强制杀死之前,设置一个检查点,一遍下次从检查点开始恢复处理?

阅读 2.5k
1 个回答

1,定期写入checkpoint,宕机不怕
2,数据处理要有幂等性,应对已经处理但没有写入checkpoint的数据

如果你用事务实时写入checkpoint,那就没上面的事了。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏