Hadoop基础命令
Hadoop基础命令
- 查看hdfs根目录下的文件：hadoop fs -ls hdfs://hadoop1:9000/
以简写为以下的形式：hadoop fs -ls /
或者这么写：hdfs dfs -ls /
- 创建文件夹：hadoop fs -mkdir /test
- 在指定文件夹中创建空文件：hadoop fs -touchz /test/zs.txt
- 上传本地文件到HDFS（将Linux系统下当前目录下的a.php文件上传到根目录下）：hadoop fs -put ./test1.txt /test
- 显示文件内容：hadoop fs -cat /test/test1.txt
6.从hdfs下载文件到本地：hadoop fs -get /test/ test1.txt
7. 将本地文件移动到hdfs中（与put功能类似 不同之处在于 moveFromLocal会删除本地的文件 而put则不会）
hadoop fs -moveFromLocal ./test2.txt /test
8. 将本地文件拷贝到hdfs中（copyFromLocal与put功能相同）：hadoop fs -copyFromLocal ./特色test3.txt /test
9.将本地的文件追加到hdfs中已经存在的文件末尾：hdfs dfs -appendToFile ./t1.txt /test/test.txt
10. 查看文件末尾：hadoop fs -tail /test/test.txt
11. 以字符形式显示文件内容：hadoop fs -text /test/test.txt（功能类似于cat 区别在于如果不是字符文件 则会显示乱码）
12. 修改文件权限：hadoop fs -chmod 777 /test/test.txt
13. 修改文件用户和组：hadoop fs -chown 777 /test/test.txt（hadoop没有用户的概念 它是一种弱的权限控制 并不会检验用户是否存在 即使该用户和组不存在也可以设置成功 你指定它的用户和组是谁就是谁）
14. 将文件从hdfs的一个路径拷贝到另外一个路径：hadoop fs -cp /test/test.txt /
15. 将文件从hdfs的一个路径拷贝到另外一个路径：hadoop fs -mv /test/test3.txt /
16. 将多个文件从hdfs上合并下载到本地：hadoop fs -getmerge /test/*.txt./merge.txt
17. 删除文件：hadoop fs -rm /test/test.txt
18. 删除空目录：hadoop fs -rmdir /test1（这个命令无法删除非空目录）
19. 统计文件系统的可用空间信息：hadoop fs –df
20. hadoop fs -df -h /
21. 统计文件及目录的大小信息：hadoop fs -du /
22.-s 参数表示显示大小信息 -h参数表示带单位：hadoop fs -du -s -h /
23. 统计一个指定目录下的文件节点数目：hadoop fs -count /
24. 设置hdfs中文件副本数目：hadoop fs -setrep 2 /test1.txt（文件夹只是一种描述文件的特殊文件 是文件系统的元数据 它本身并不存储数据 因此在hdfs中副本数为0）