SF
Spark学习之路
Spark学习之路
注册登录
关注博客
注册登录
主页
关于
RSS
Spark DataFrame 使用UDF实现UDAF的一种方法
杨闯
2018-03-30
阅读 4 分钟
10.2k
Background: 当我们使用Spark Dataframe的时候常常需要进行group by操作,然后针对这一个group算出一个结果来。即所谓的聚合操作。
“The CM is using external DB” bug的解决办法
杨闯
2018-03-30
阅读 2 分钟
4.6k
进一步,自己手动添加缺失的log文件。起初,我是用root添加的,并未授予777权限,导致日志无法被写入,总是空的。后来,索性登入cloudera-scm账户,创建日志文件,至此才从日志文件中发现了出问题的地方。