快学Scala初级A1整理(1)

2016-03-28
阅读 6 分钟
3k
Scala是一门有趣且实用的语言,它以JVM位目标环境,将面向对象和函数式编程有机地结合起来,带来独特的编程体验。本文主要整理《快学Scala》中的初级A1部分,适用于Scala的初级应用开发学习。转载请注明博客原文地址:[链接]

使用PyCharm配置Spark的Python开发环境(基础)

2016-03-04
阅读 2 分钟
15k
在本地搭建好Spark 1.6.0后,除了使用spark-submit提交Python程序外,我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单,在stackoverflow上搜索到的。同时,IntelliJ IDEA加入Python插件后也可以使用Python开发Spark程序,配置步骤一致。

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境(基础)

2016-03-04
阅读 3 分钟
10.5k
在本地搭建好Spark 1.6.0后,除了使用官方文档中的sbt命令打包,spark-submit提交程序外,我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试,之后再将作业提交到集群生产环境中运行,使用IDE可以提升我们的开发效率。

Spark 1.6.0 单机安装配置(基础)

2016-02-29
阅读 4 分钟
10.6k
本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用,但如果用到hdfs系统的话hadoop和jdk也要配置,建议全部安装配置好。我的博客原文地址链接:[链接]