Eclipse下创建hadoop项目-----创建HDFS文件和上传资源至HDFS
打开Eclipse,新建java project,将相关的hadoop包导入lib,
具体方法见:https://blog.****.net/qq_25948717/article/details/80428129
选中lib下的所有jar包,右键,Add to Build Path,即可把所有jar包添加到path环境中,Reference中可以看到。
创建com.hdfs包,新建mkdirHdfsFile.class
在右边选中要运行的testMkdir(),右键-->Run As--->Junit Test.Console显示成功,
注意设置登陆用户要和hadoop安装目录的所属用户一致。否则会因为权限问题失败
在terminal中输入hadoop fs -ls /可以看到所创建的文件
上传资源至hdfs系统:
命令查看:
注意:hdfs系统中的/和我们本地的/不一样,上传的文件已经分块存在磁盘中了,只有通过hdfs命令才能看上传后的资源名
通过linux名只能看到资源分块编号:
hdfs是假设在linux系统文件之上,通过linux无法查看:
即:在hadoop启动的情况下,通过创建java项目,使用haddop的jar包,可以对本地的hdfs文件系统进行操作。