十一. 大数据技术之hadoop(11)

三种操作HDFS的方式

第一种,web控制台的方式,启动HDFS环境,在本地浏览器上输入linuxIP地址:50070可以看到HDFSweb控制界面

十一. 大数据技术之hadoop(11)

十一. 大数据技术之hadoop(11)

十一. 大数据技术之hadoop(11)

十一. 大数据技术之hadoop(11)

十一. 大数据技术之hadoop(11)

十一. 大数据技术之hadoop(11)

十一. 大数据技术之hadoop(11)

第二种:linux命令行的方式

操作命令 :  hdfs dfs *********,  与linux命令类似

具体参考 http://blog.****.net/zhaojw_420/article/details/53161624

管理命令: hdfs dfsadmin ******

十一. 大数据技术之hadoop(11)

管理命令记住两个,hdfs dfsadmin -safemode get查看安全模式状态

hdfs dfsadmin -report 查看HDFS的状态

第三种方式,java API

准备工作, 加入java依赖的jar包

/home/roo/training/hadoop-2.7.3/share/hadoop/common
/home/roo/training/hadoop-2.7.3/share/hadoop/common/lib
/home/roo/training/hadoop-2.7.3/share/hadoop/hdfs
/home/roo/training/hadoop-2.7.3/share/hadoop/hdfs/lib

下的jar包全部加入到java环境,当然也可以使用maven搭建环境

十一. 大数据技术之hadoop(11)

十一. 大数据技术之hadoop(11)

运行程序,查看linux上的目录发现多了一个/folder1的目录,表示用java api成功操作hdfs上的文件,其中要设置HDFS的权限,但HDFS检查权限的功能比较弱(个人认为这是Hadoop目前存在的一个比较大的问题,不够安全), 在win上设置权限为root, HDFS就认为是root用户,但并不会真正的去检查到底是不是root用户(本质是win上adminstrator用户,只不过改了个名字而已)

当然用java api不仅仅创建目录,只要是命令行能干的事,利用java程序都能实现,参考:

https://github.com/weironggege/Bigdata-HDFS