如何利用流式处理来统计标准差？

Question

流式处理通常可以得到"一次遍历"能够得出来的统计结果，例如求和、平均值等。但如果我需要统计标准差呢？标准差需要进行两次遍历，第一次获得平均值，第二次才能算出标准差。流式处理能否满足这种需求呢？

Answer 1

用spark streaming时可以foreachRDD，保存每个数据
将数据集转成RDD，利用计算出来的平均值，再次求标准差

其实问题可以转化为，如何使同一组数据集在一个时间间隔中被重复使用的问题
RDD操作和编程语言混用

Answer 2

可以使用JavaDoubleRDD的mean()和stdev()方法。