Livy探究(七) -- 编程接口分析

2020-10-09
阅读 3 分钟
3k
与REPL不同的是,Programmatic API提供了在一个“已经存在”的SparkContext上执行处理程序的机制。用户需要实现Job接口:

Livy探究(六) -- RPC的实现

2020-10-07
阅读 4 分钟
3.1k
Kryo是一种对象序列化和反序列化工具。通信双方需要互相发送消息,livy选择了Kryo作为消息的编解码器,并在netty框架中实现编码和解码接口:

Livy探究(五) -- 解释器的实现

2020-10-04
阅读 3 分钟
2.5k
ReplDriver是真正最终运行的Driver程序对应的类(其基类是第三篇中提到的RSCDrvier)。在这一层,重点关注handle系列方法:

Livy探究(四) -- 从es读取数据

2020-10-03
阅读 2 分钟
2.1k
在前面的所有例子中,我们只是运行了livy官方给的两个例子。这篇我们要尝试运行一些有意义的代码。如没有特殊说明,以后所有的实验都是在yarn-cluster模式下运行的。我们打算尝试运行下面代码: {代码...} 这段代码用spark sql加载了elasticsearch的某个index,并使用show()打印几行数据。为了完成这个实验,有两个问题...

Livy探究(三) -- 核心架构细节探索

2020-10-03
阅读 2 分钟
4.1k
客户端创建session,LivyServer收到请求后启动一个RpcServer。RpcServer会顺序选择一个从10000~10010之间的可用端口启动监听,假设此时是10000。

Livy探究(二) -- 运行模式

2020-10-02
阅读 3 分钟
5.7k
上一篇的例子采用Livy默认的Local模式运行Spark任务。本篇我们尝试一下其他模式。因为修改配置文件需要重启,而每次重启服务都要设置SPARK_HOME和HADOOP_CONF_DIR比较麻烦。我们首先修改一下conf/livy-env.sh:

Livy探究(一) -- 初体验

2020-10-01
阅读 5 分钟
6.3k
Livy是Apache的开源项目,目前仍然处于孵化阶段。它提供了一种通过restful接口执行交互式spark任务的机制。通过它可以进一步开发交互式的应用。当然,交互式spark应用其实有许多实现。本系列与大家一起对Livy做个探索