HDFS文件系统操作及eclipse上搭建hadoop外部客户端
操作HDFS文件系统
首先查看hadoop下的命令
bin目录下的命令:
sbin目录下的命令:
这里演示些最常用的命令:
创建目录:如创建user/root路径
然后通过sbin 目录下的起始文件运行
然后通过 端口号+50070的方式通过浏览器访问
如:192.168.230.131端口就通过192.168.230.131:50070访问,进入如下页面
在Utilities下Browse Directory可查看文件路径,和存储状况详情。
上传文件 hdfs dfs -D dfs.blocksize=这里设置块的大小 -put 文件
下载获取文件 hdfs dfs -get 下载文件 下载后文件存储位置
删除文件 hdfs dfs -rmr 文件名
查看文件 hdfs dfs -cat 文件 如: profile/* 就是查看profile文件下的所有内容
将一个路径下的文件放到另一个路径下
以上是我总结的常用的命令,其他命令可以通过帮助文档查看使用
在windows系统上配置hadoop外部客户端
1、配置环境变量
1.1 配置jdk的环境变量
我的电脑-->右键属性-->控制面板--->高级系统设置-->环境变量
在系统变量中添加JAVAHOME变量,然后将 %JAVAHOME%\bin配置到PATH中
1.2 配置hadoop的环境变量
变量名:HADOOP_HOME
路径:将 %HADOOP_HOME%\bin配置到PATH中
1.3因为虚拟机用户名与系统有区别
要将windows 中的user 内的 dirver的hosts加入虚拟机端口号和名称
修改系统用户名 :
在系统变量中新建HADOOP_USER_NAME 值为root
2、配置eclipse环境
2.1在eclipse启动之前,将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins
2.2启动eclipse
2.3添加路径
2.4 window ------show view ---------添加map/reduce
2.5 在map/reduce窗口右键new map/reduce local
2.6 在建好的链接上右键键Edite hadoop local 设置
location name :设置连接的名字
host:这里配置虚拟机IP地址
port:这里设置端口与hadoop中的端口相对应
我这里是9000
创建项目导入需要用到的包的configuretion就可以了
eclipes中的项目结构
以下为简单的测试代码:
引入配置文件及AOP注解信息
创建文件
第一步:创建、删除、重命名、判断是否存在
第二步:创建文件
这里用的的delete方法过期但不影响使用,只是不建议使用。
重命名
上传文件
下载文件