hdfs命令学习

本文旨在增加记忆

URI格式是scheme://authority/path

1. cat
   将指定文件内容输出到标准输出（stdout）
   使用方式： hadoop fs -cat URI [URI ...]
   例子：
   输出hsfs文件系统上部分文件内容：
   hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
   输出本地文件的内容
   hadoop fs -cat file:///file1

2. chgrp
   修改文件所属的组，使用-R将递归改变目录结构下的文件属组，命令使用者必须是文件所有者或者超级用户
   使用方式：
   hadoop fs -chgrp [-R] GROUP URI
   hadoop fs -chgrp newgroup hdfs://host:port/file

3. chmod
   修改文件权限，使用 -R将递归改变目录结构下的文件权限，命令使用这必须是文件所有者或者超级用户
   使用方式：
   hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
   hadoop fs -chmod -R 750 hdfs://host:port/file

4. chown
   改变文件的拥有者，使用-R将递归改变目录结构下文件的拥有者，命令使用者必须是文件所有者或者是超级用户
   使用方式：
   hadoop fs -chown [-R] [OWNER] [:GROUP] URI [URI ...]
   hadoop fs -chown -R newowner:newgroup hdfs://host:port/dir
   hadoop fs -chown newowner:newgroup hdfs://host/port/file

5. copyFromLocal
   复制本地文件到目的路径，除了限定源路径是本地文件外，和put命令相似
   使用方式：
   hadoop fs -copyFromLocal <localsrc> URI

6. copyToLocal
   复制文件到本地指定路径，除限定目标路径是本地文件外，和get类似
   使用方式：
   hadoop fs -copyToLocal

7. cp
   从源路径复制文件到目标路径，（可以允许有多个源路径，但是此时目标路径必须是目录）
   使用方式：
   hadoop fs -cp /srcfile /dstfile
   hadoop fs -cp /srcfile1 /srcfile2 /dstdir

8. du
   显示目录中所有文件大小，或者当只指定一个文件时显示该文件大小
   使用方式：
   hadoop fs -du /dir
   hadoop fs -du /file

9. expunge
   清空回收站
   使用方式：
   hadoop fs -expunge

10. get
    复制文件到本地
    使用方式：
    hadoop fs -get /hadoop/file localfile
    hadoop fs -get hdfs://host:port/file localfile

11. put
    从本地文件系统复制一个或多个源路径文件到目的路径，也支持从标准输入中读取输入写入到目的文件
    使用方式：
    hadoop fs -put localfile /dst/file
    hadoop fs -put localfile1 localfile2 /dst/dir
    hadoop fs -put localfile hdfs://host/port/dst/file
    从标准输入中读取输入：
    hadoop fs -put - hdfs://host/port/dst/file

12. ls
    显示文件或者目录信息
    使用方式：
    hadoop fs -get /hadoop/file
    hadoop fs -get /hadoop/dir

13. lsr
    ls的递归版本，类似于unix中的ls -R

14. mkdir
    创建目录
    使用方式：
    hadoop fs -mkdir /hadoop/dir1 /hadoop/dir2

15. mv
    将文件从源路径移动到目的路径
    使用方式：
    hadoop fs -mv /scr/file /dst/file
16. rm
    删除指定目录和文件，只能删除非空目录和文件
    使用方式：
    hadoop fs -rm /file
17. rmr
    rm的递归版本
    使用方式：
    hadoop fs -rmr /dir

18. setrep
    改变一个文件的副文本系数，-R选项用于递归改变一个目录下所有文件副文本系数
    使用方式:
    hadoop fs -setrep -w 3 -R /dir
19. stat
    返回指定路径的统计信息
    使用方式：
    hadoop fs -stat path

20. tail
    将尾部文件1k内容输出到标准输出，和unix中的类似
    使用方式：
    hadoop fs -tail path
21. test
    用于检查文件或者目录
    使用方式：
    检查文件是否存在，存在返回0
    hadoop fs -test -e file
    检查文件是否为空，空返回0
    hadoop fs -test -z file
    检查路径是否为目录，是目录返回1
    hadoop fs -test -d pathname
22. text
    将源文件输出为文本格式
    使用方式：
    hadoop fs -text <src>
23. touchz
    创建一个0字节空文件
    使用方式：
    hadoop fs -touchz filename

参考文章：http://hadoop.apache.org/docs...