Local模式安装
实验环境
·操作机:Windows 7
实验工具
·无
实验内容
Local模式就是本地运行模式,用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题。
本实验通过window环境下载安装配置spark,使用local进行样例测试,spark-shell的打开
实验步骤
1.安装jdk
(1)官网下载jdk:
(2)解压jdk到D:\Java目录下
(3)添加系统变量,从桌面电脑图标右键进入“属性”界面,选择“高级系统配置”,选择“环境变量”,然后选择“系统变量”下的新建,添加一个JAVA_HOME的变量,变量值为Java安装路径(能够看到bin文件夹的路径)
(4)往系统变量Path里追加“;Java_HOME\bin”,注意:win10系统按照以下格式添加,win7应该是字符串格式,如果没有分号一定要自己补上!
2.安装spark
(1)通过官网下载spark:
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
(2)添加系统变量
(3)往系统变量Path里追加“;Java_HOME\bin”
3.运行样例程序
(1)移动至d盘
D:
(2)移动到spark目录的bin子目录下
cd D:\spark\spark-2.4.0-bin-hadoop2.7\bin
(3)运行样例程序
run-example SparkPi 4 4
可以看到结果Pi is roughly 3.1493878734696836
4.运行spark-shell
spark-shell
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。