阿里云hadoop安装教程_完全分布式_Hadoop 2.7.4/CentOS 7.4
一、环境
本教程中使用两台阿里云服务器,其配置为单核CPU,2G内存,操作系统为CentOS 7.4。使用JDK1.8及Hadoop2.7.4进行安装。
二、配置服务器hostname
进入实例的基本信息页面,点击修改信息
修改HostName,NameNode节点对应的HostName为master,DataNode节点对应的HostName为node1
三、修改hosts(最好使用内网IP)
四、SSH无密码登录
无论是集群还是单机模式都需要配置SSH无密码登录,而且该步骤不可以忽略。
利用ssh-******生成**,在生成的过程中一直按回车就可以。
加入到授权中
将id_rsa.pub拷贝到node1节点上(此时需要输入node1节点上root用户的密码)
登录到node1节点,并将上一步拷贝的id_rsa.pub加入到授权中,步骤同上,即cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
登录到master,测试免密登录是否成功,若此时不需要输入node1的密码即可直接登录,说明配置成功。
五、JAVA安装
解压jdk压缩包到指定目录
配置环境变量
使配置的环境变量生效
使用java -version测试安装是否成功
注:在node1进行同样的安装
六、hadoop安装
解压到指定目录
配置环境变量
使配置的环境变量生效
使用hadoop version测试安装是否成功
注:在node1上进行同样的安装
七、配置hadoop
切换目录
修改core-site.xml如下:
修改hdfs-site.xml如下:
将mapred-site.xml.template拷贝一份并命名为mapred-site.xml
修改mapred-site.xml如下:
修改yarn-site.xml如下:
修改slaves如下:
修改hadoop-env.sh如下:
注:将上述的配置文件拷贝一份到node1对应的目录中
八、格式化hdfs
成功后
九、启动进程
进入到sbin目录,执行脚本
使用jps命名查看结果,结果*包含5个进程:NameNode、DataNode、SecondaryNameNode、NodeManager、ResourceManager;
十、使用自动的wordcount进行测试
创建用户目录
将要进行统计的文件(我这里是一个txt文件)拷贝到hdfs上
执行自带的wordcount例子,并将结果输出到output2中(如果已经存在output2则会报错,使用hdfs dfs -rm -r filename删除即可)
通过浏览器访问master的8088端口即可查看执行进度(如果通过外网访问,则要配置阿里云的安全组规则)