大数据平台搭建 Hadoop-2.7.4 + Spark-2.2.0 快速搭建

2017-09-22
阅读 3 分钟
7.7k
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适...

Scala-2.13.0 安装及配置

2017-09-22
阅读 2 分钟
4.4k
Scala 简介 Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上,并兼容现有的Java程序。 Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库。 准备工作 环境 {代码...} 依赖环境 Scala 语言可以运行...