Hadoop HDFS常用命令之文件操作
Hadoop中HDFS常用命令_文件操作
对文件的操作
HDFS命令都在Hadoop的bin目录下，当我们配置好了Hadoop的环境变量后就可以直接输入HDFS的命令了，而不需要转到对应的目录下再执行命令
|
具体命令
|
命令说明
|
|
hdfs fsck / -files -blocks
|
列出文件系统中各个文件由哪些块组成
|
| hadoop fs -ls / |
列出hdfs文件系统根目录下的目录和文件
hadoop fs -ls hdfs://hadoop-server-00:9000/ 与前面的命令等同只是对路径进行了简写
|
|
hadoop fs -ls -R /
|
列出hdfs文件系统所有目录和文件
-R表示递归进行展示
|
|
hadoop fs -cp /dir01/1.txt /dir02
|
将HDFS上 / dir01下的1.txt拷贝一份到 /dir02目录下
目标目录可以有多个，多个目标目录需要使用空格隔开
|
|
hadoop fs -copyFromLocal ./jdk.tar.gz /dir01/
|
从本地文件系统中拷贝到HDFS路径当中去
-put 命令与它等同
|
|
hadoop fs -copyToLocal /dir01/jdk.tar.gz
|
从HDFS文件系统中拷贝到本地
-get命令与它等同
|
|
hadoop fs -getmerge /dir01/log.* ./log.sum
|
合并下载多个文件
比如：/dir01/下有多个文件 log.1,log.2,log.3……
|
|
-moveFormLocal
|
从本地把文件移动到HDFS文件系统中去
|
|
-moveToLocal
|
从HDFS文件系统中移动到本地
|
|
hadoop fs -cp /dir01/jdk.tar.gz /dir02/jdk.tar.gz.2
|
从HDFS的一个路拷贝到HDFS的另一个路径中去
|
|
-mv
|
在HDFS目录中移动文件
|
|
hadoop fs -mkdir -p /dir01/dir02/aaa
|
在HDFS上创建目录
-p：表示当存在父目录时一并创建
|
|
hadoop fs -rm -r /dir01/dir02
|
在|HDFS删除文件或文件夹
-r：表示递归进行删除
|
|
-rmdir
|
删除空目录
|
|
hadoop fs -cat /1.txt
|
显示文件内容
|
|
hadoop fs -appendToFile ./1.txt /2.txt
|
追加一个文件到已存在文件的末尾
|
|
-chgrp、-chmod、-chown
如：hadoop fs -chmod 666 /1.txt
|
这三个命令与linux中的用法是一样的
|
|
hadoop fs -count /dir01/
|
统计一个指定目录下的文件节点数 |
|
-createSnapshot、-deleteSnapshot、-renameSnapshot
如：hadoop fs -createSnapshot /
|
这三个命令用来操作HDFS文件系统目录信息快照 |
|
hadoop fs -df -h /
|
统计HDFS文件系统的空间信息
|
|
-help
|
输出对应命令的参数手册
|
|
hadoop fs -setrep 3 /dir01/jdk.tar.gz
|
设置HDFS中文件的副本信息
|
|
-stat
|
显示一个文件的或文件夹的元信息
|
|
-tail
|
显示一个文件的末尾
|
|
-text
|
以字符形式打印一个文件的内容
|
从本地copy文件到HDFS根目录，在上传完成后查看文件信息
HDFS创建目录
hadoop fs -mkdir /software
put一个文件到HDFS的指定目录且使用-cat查看文件内容
在web服务端查看文件
删除HDFS中指定的目录及文件