十一. 大数据技术之hadoop(11)
三种操作HDFS的方式
第一种,web控制台的方式,启动HDFS环境,在本地浏览器上输入linuxIP地址:50070可以看到HDFSweb控制界面
第二种:linux命令行的方式
操作命令 : hdfs dfs *********, 与linux命令类似
具体参考 http://blog.****.net/zhaojw_420/article/details/53161624
管理命令: hdfs dfsadmin ******
管理命令记住两个,hdfs dfsadmin -safemode get查看安全模式状态
hdfs dfsadmin -report 查看HDFS的状态
第三种方式,java API
准备工作, 加入java依赖的jar包
/home/roo/training/hadoop-2.7.3/share/hadoop/common
/home/roo/training/hadoop-2.7.3/share/hadoop/common/lib
/home/roo/training/hadoop-2.7.3/share/hadoop/hdfs
/home/roo/training/hadoop-2.7.3/share/hadoop/hdfs/lib
下的jar包全部加入到java环境,当然也可以使用maven搭建环境
运行程序,查看linux上的目录发现多了一个/folder1的目录,表示用java api成功操作hdfs上的文件,其中要设置HDFS的权限,但HDFS检查权限的功能比较弱(个人认为这是Hadoop目前存在的一个比较大的问题,不够安全), 在win上设置权限为root, HDFS就认为是root用户,但并不会真正的去检查到底是不是root用户(本质是win上adminstrator用户,只不过改了个名字而已)
当然用java api不仅仅创建目录,只要是命令行能干的事,利用java程序都能实现,参考: