目前日志数据,大概占了70%以上的存储量,不得不为此扩充数据库的存储容量。使用mongodb存储,目前数据上亿条了。
写多,读少。
查看了慢日志记录,现在写入大概300毫秒左右。都是日志表的insert操作。
目前虽然暂时还没什么大问题。但是以后几亿,十几亿条那是存在的。
需不需要单独开一个数据库,用来存储日志?或者其他存储方案?
目前日志数据,大概占了70%以上的存储量,不得不为此扩充数据库的存储容量。使用mongodb存储,目前数据上亿条了。
写多,读少。
查看了慢日志记录,现在写入大概300毫秒左右。都是日志表的insert操作。
目前虽然暂时还没什么大问题。但是以后几亿,十几亿条那是存在的。
需不需要单独开一个数据库,用来存储日志?或者其他存储方案?
1 回答7.5k 阅读✓ 已解决
1 回答6.2k 阅读✓ 已解决
1 回答1.3k 阅读✓ 已解决
1 回答1.3k 阅读✓ 已解决
1k 阅读
看场景:
如果不需要实时分析,可以用文件形式,固定格式存储,然后进行离线分析。
如果不需要所有日志,只需要部分日志,那么可以给一定时间之前的日志删掉。
现在一般的做法都是,近期日志存在mongodb这种数据库中,长期日志存储在大数据平台。