HDFS 常用命令

2017-01-12
阅读 1 分钟
9.2k
[TOC] HDFS 常用命令 ls hdfs dfs ls cat hdfs dfs -cat /filepath/filename put: 上传本地文件到HDFS hdfs dfs -put /localfilepath/filename /hdfspath/ 例如复制当前文件夹下的file.txt文件到hdfs中的/user/bovenson/input命令为: {代码...} get: 从HDFS获取文件到本地 hdfs dfs -get /hdfsfilepath/filename /localp...

简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行

2017-01-12
阅读 8 分钟
4k
[TOC] 简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行 程序源码 {代码...} 编译 命令 javac Score.java 依赖错误 如果出现如下错误: {代码...} 尝试修改环境变量CLASSPATH {代码...} source /etc/profile 然后重复上述编译命令. 打包 编译之后会生成三个class文件: {代码...} 使用tar程序打包class文...

Spark安装

2016-08-24
阅读 5 分钟
1.7k
解压下载的jdk文件并移动到新建的文件夹下 sudo tar -xzvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm