Windows下搭建spark

安装环境

• JDK 1.7
• scala 2.11.7
• hadoop-winutils 2.6.0
• spark 1.3.1

安装步骤

1. 安装JDK、scala解释器、hadoop-winutils、spark
2. 配置JAVA_HOME、SCALA_HOME、HADOOP_HOME环境变量
3. 运行spark目录下/bin/spark-shell.cmd

测试代码

用这里的wordCount代码，在spark-shell上运行

scala$ spark-shell
scala> val file = sc.textFile("<input file>")
scala> val counts = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
scala> counts.saveAsTextFile("<output file>")

可以在<output file>/part-00000（可能不只一个输出结果文件）中看到结果