我现在要对大概70几万条档案数据进行统计分类,按9大类,各个年度从1988年到2014年进行统计,9大类的数据按年度进行计算。
那么问题来 了,这些统计计算应该很耗时,而且统计结果一般不会变了,是不是应该保存起来,是保存到数据库,还是其他地方
我现在要对大概70几万条档案数据进行统计分类,按9大类,各个年度从1988年到2014年进行统计,9大类的数据按年度进行计算。
那么问题来 了,这些统计计算应该很耗时,而且统计结果一般不会变了,是不是应该保存起来,是保存到数据库,还是其他地方
你如果有时间研究的话可以用大数据的方法去分析比如用Hbase Hadoop之类的, 稍微简单点的可以考虑nosql比如 mongodb或者redis之类的, 70几W的数据也没想象中的那么多的, 多高几台服务器跑起来也还好
5 回答3.3k 阅读✓ 已解决
2 回答2.8k 阅读✓ 已解决
1 回答2.4k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
1 回答2k 阅读✓ 已解决
3 回答2.3k 阅读
2 回答2.1k 阅读
保存到数据库可能会相对比较浪费,但是比较简单。
如果应用本身有Redis之类的话就更好,就是是丢失了最多重新计算一次。