java并发处理一个表中的大量数据,如何设置检查点,以便用于失败恢复,而不是重复处理处理过的数据?
比如在处理过程中,系统宕机,kill -9强制杀死之前,设置一个检查点,一遍下次从检查点开始恢复处理?
java并发处理一个表中的大量数据,如何设置检查点,以便用于失败恢复,而不是重复处理处理过的数据?
比如在处理过程中,系统宕机,kill -9强制杀死之前,设置一个检查点,一遍下次从检查点开始恢复处理?
3 回答2k 阅读✓ 已解决
3 回答3.5k 阅读✓ 已解决
8 回答2.8k 阅读
4 回答2.1k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
5 回答2k 阅读
3 回答1.4k 阅读✓ 已解决
1,定期写入checkpoint,宕机不怕
2,数据处理要有幂等性,应对已经处理但没有写入checkpoint的数据
如果你用事务实时写入checkpoint,那就没上面的事了。