现在从消息队列接收消息,然后写入文件。每小时写一个,是批量写入。但是出现个问题,每次写的新文件开头都有一些应该属于上个小时得数据,消息体有time。如何保证所有消息都严格写入自己小时得文件。现在想到的是将批量写入的buffer按小时区分,Map<hour,buffer>,一个buffer对应一个小时,以buffer 对应的小时字段生成文件名,这样就保证每个buffer 里的数据都属于自己的文件。还有其他更好的方法吗?
现在从消息队列接收消息,然后写入文件。每小时写一个,是批量写入。但是出现个问题,每次写的新文件开头都有一些应该属于上个小时得数据,消息体有time。如何保证所有消息都严格写入自己小时得文件。现在想到的是将批量写入的buffer按小时区分,Map<hour,buffer>,一个buffer对应一个小时,以buffer 对应的小时字段生成文件名,这样就保证每个buffer 里的数据都属于自己的文件。还有其他更好的方法吗?
感觉你这个问题可能有以下几个原因造成的:
producer重复发送了消息
mq重复发送了消息给consumer
前一小时consumer没有告知mq已经消费消息,导致后一个小时mq又发送了消息
参考资料:
15 回答8.4k 阅读
8 回答6.2k 阅读
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答2.9k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4k 阅读✓ 已解决
文件在小时整点生成,每个消息都带上各自的时间戳,匹配写