Spark中的Application、SparkSession、SparkContext、RDD及其拓展

2017-05-25
阅读 3 分钟
24k
接触 Spark 的时候容易产生这样的疑惑,RDD 是什么,SparkContext 是什么,SparkSession 又是什么... 它们之间又是什么关系?

Spark隐藏接口

2017-05-12
阅读 2 分钟
3.6k
Spark有一些隐藏的API, 官方没有暴露出来, 下面是一些示例, 可以方便开发 获取job状态 {代码...} 返回样例 {代码...} 停止job {代码...} 返回样例 {代码...} 提交job {代码...} 返回样例 {代码...}

[译] OpenTracing语义规范

2017-03-30
阅读 5 分钟
10.1k
这是一份”正式”的OpenTracing语义规范文档。由于OpenTracing是跨语言的,本文档会尽量避免提到特定语言相关的概念。也就是说,我们认为所有语言都具有类似”接口”这样的概念,并提供相关的功能。

字符编码问题记录

2017-01-26
阅读 3 分钟
3.3k
需要对序列化以后的对象 (java中的byte[]) 在redis中进行存取由于redis声称只支持String(作为redis暴露出来的最基本的数据类型)形式的存取 (ref: [链接], [链接] )所以需要在存取前后将byte[]与String互相转换

AOP实践: Java利用注解和反射实现一个方便的函数性能测量工具

2016-10-19
阅读 6 分钟
5.3k
在学习Java的集合类时,有时候想要测试代码块的运行时间,以比较不同算法数据结构之间的性能差异。最简单的做法是在代码块的前后记录时间戳,最后相减得到该代码块的运行时间。