Spark DataFrame 使用UDF实现UDAF的一种方法

2018-03-30
阅读 4 分钟
10.1k
Background: 当我们使用Spark Dataframe的时候常常需要进行group by操作,然后针对这一个group算出一个结果来。即所谓的聚合操作。

“The CM is using external DB” bug的解决办法

2018-03-30
阅读 2 分钟
4.4k
进一步,自己手动添加缺失的log文件。起初,我是用root添加的,并未授予777权限,导致日志无法被写入,总是空的。后来,索性登入cloudera-scm账户,创建日志文件,至此才从日志文件中发现了出问题的地方。