hadoop集群安装
Hadoop安装文档
备注:本文档借鉴地址 http://blog.csdn.net/ab198604/article/details/8250461
1:准备:
3台机机器(可以虚拟机)
主:
192.168.180.129 master
从:
192.168.180.130 slave2
192.168.180.131 slave1
jdk安装包
hadoop安装包
2:更改三台机器的名字(有些系统文件你的用户可以没权限访问,你可以切换到你的root用户下修改一下文件的权限 chmod u+w /etc/hosts)
Vi /etc/hosts 3台机器都需要配置
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzQ4NS8wMWU1ZjJkZjI3ZWIwN2E5ZGQ4MzNmMzFiNTU3YzllZC5KUEVH)
每台机器看一下网卡的对应的hostname 和 本地的名字是否一致 不一致的话修改一下
3:建立hadoop 运行账号
sudo groupadd hadoop //设置hadoop用户组
sudo useradd –s /bin/bash –d /home/hadoopmaster –m hadoopmaster –g hadoop –G root //添加一个hadoopmaster 用户,此用户属于hadoop用户组,且具有root权限
sudo passwd hadoopmaster //设置用户hadoopmaster用户的密码
su hadoopmaster //切换到 hadoopmaster用户中
以上3台机器都需要进行以上步骤来完成hadoop运行账号建立的操作
4:配置ssh免密码登陆
Id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件,这个步骤是必须的,过程如下:
另外两台机器同样的操作
单机回环ssh免密码登陆测试
即在单机结点上用ssh进行登录,看能否登录成功。登录成功后注销退出,过程如下:
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzM4Ni82OTY4OTdlYjY5NjhlNmY0NDU2Y2EzNTYzZWEyNjcwYS5KUEVH)
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 回环登陆的时候就不会再提示
让主结点(master)能通过SSH免密码登录两个子结点(slave)
为了实现这个功能,两个slave结点的公钥文件中必须要包含主结点的公钥信息,这样
当master就可以顺利安全地访问这两个slave结点了。操作过程如下:
//在slave 节点执行
命令:scp [email protected]:~/.ssh/id_dsa.pub ./master_dsa.pub
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzM4NS9mNzRiYTdjYjQwNzM1YWI5ZDVlNjkxN2EyYWMxY2ZkOS5KUEVH)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
Scp 没有权限的时候 在 /etc/sudoers 新加 hadoopmaster ALL(ALL) ALL (前提是修改文件有编辑权限)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzg1My81Zjc5YjgyZGVmYTg4OGZmN2EyY2M1OWY2NmMwMmUzNS5KUEVH)
接着,将master结点的公钥文件追加至authorized_keys文件中,通过这步操作,如果不出问题,master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下:
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzcyOS8xYjBhMjk3MTM4ZmI3NzUyZjkyYzlmNGM2MTJkOTRiMS5KUEVH)
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 登陆的时候如果不在提示说明配置成功
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzY4Ny9mM2I5Y2IyZjE4NzY0ZTJjYzA3MzIwYTIyODNkYzdjNy5KUEVH)
slave2 节点同样的操作
表面上看,这两个结点的ssh免密码登录已经配置成功,但是我们还需要对主结点master也要进行上面的同样工作,这一步有点让人困惑,但是这是有原因的,具体原因现在也说不太好,据说是真实物理结点时需要做这项工作,因为jobtracker有可能会分布在其它结点上,jobtracker有不存在master结点上的可能性。
所以主节点也需要 对自己做一下免密码登陆认证 和 从节点的操作一下 最后测试
ssh master 能登陆上 说明成功了
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzg4Ni84NjEzZThhYjc1MmNmMDQxODhlN2I3OTlhOWNkMWU4ZS5KUEVH)
5:安装jdk
去官网下载linux的jdk 注意 看自己系统是多少位的 我这里 用到的是32 位的所以下载时选择的是32位的安装包 86 代表的是32 位的
命令:uname -a
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzM2L2Y5NjE2Nzk2MjQxZmI4ZGIwNDk5YWNhNjFlMTZmOTRjLkpQRUc=)
验证环境变量
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzQ3OS85OThkYmU2ZWQwMTJmOTk0ODdmYjJjMWVhNTMwMWJjZi5KUEVH)
然后下载hadoop安装包 解压
到目前为止,准备工作已经完成,下面开始修改hadoop的配置文件了,即各种site文件,文件存放在/hadoop/conf下,主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。
我这里用到用到的是 2.7.2 版本的
上面几个配置文件的地址 ./hadoop/etc/hadoop 下面
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzgwNS85NjdhZTI1OTlmNDlkODJkZTkwNTEzZThjYzQxYzIwZC5KUEVH)
下载下来的安装包有可能有的文件没有 或者有的给了个 template 模板 没有的话 自己新建一个就好了
core-site.xml
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzg3OS9iYTlmNDFkZTQ2MzEzY2M0NWQ5MjhhZTc5YmZhOTBhZi5KUEVH)
hdfs-site.xml
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzI1OC9mMWYzMmEyZjJjNTA1Y2VkN2I2NGJmNjVhMTI4NjVhYS5KUEVH)
mapred-site.xml
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzIwOS9iYzc2ZDhhNDAwODkyODZhNjg0NGE3MTQyMDI3Yjk5MS5KUEVH)
紧接着配置 hadoop-env.sh 新加
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzYwNy9jNzQ5OGUzZGVhNzdiNDU1YmJlZWNmNzVmMmZjNWNjNy5KUEVH)
第一个是jdk的位置
第二个是hadoop的位置
6:配置master和slave 文件 有的版本下载下来可能没有 master 文件,自己新加一个就可以了
master文件中 配置一下 master就可以 之前我们配置的hosts 主机对应的 名字就是 master
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzQzLzEwYWM4OWI5NWE4NjdhNWYwN2RlMDI3MTA5ZDY0ZTZiLkpQRUc=)
slave配置 slave1 slave2 以为我们的从机器是两台,所以这块我没配置两个(每写一个换行)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzUzNS9hMTRlZDgzYWMyNWMyMjMxN2VjNjdiNGIyNjgzOTZhNy5KUEVH)
7:向各个节点复制hadoop
命令:scp –r ./hadoop slave1
scp –r ./hadoop slave2
8:格式换 namenode
命令:hadoop namenode -format
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzM1Ny9iN2ZhYWU1YzNiNWQxYjBjMjNjMzkzODk5ZjJkMTVmZC5KUEVH)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzU4My9iYjQyZTBiMWM4ODlhNDFiYWVlMWFlODUzYWRhYmMxZi5KUEVH)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
注意:上面只要出现“successfully formatted”就表示成功了。
9:启动hadoop
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzI0Ni9jYWQyNjY4NDI4OTE4YjQ5M2UzYTNlNjdiMWEzOTg1Ni5KUEVH)
10 用jps检验 各后台进程是否启动成功
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzg3Ny8wMmIzMGI0ZmM3OWFhODIxYjdkZDZlOTIzOTMwZGM3NS5wbmc=)
从节点上也看一下
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzY3Ny9mY2Q5YmI4NjhlNTYwMjNiMmYyMWI2MTUxMDg2YTIwZC5KUEVH)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
11:通过web页面查看集群情况 访问主节点的ip:/ 50070
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3hqX3dvcmxkL2FydGljbGUvZGV0YWlscy81MTM3NzIzNQ==)
![hadoop集群安装 hadoop集群安装](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzM0Ny8zNmM5NDliZWVmZjExZWY0NTk0MDAxZDk0MTI1MTY5Yi5wbmc=)
温馨提示:如果本机访问不了虚拟机的地址话,把主节点的防火墙关掉就好了。
到这安装就完成了!
备注:本文档借鉴地址 http://blog.csdn.net/ab198604/article/details/8250461
1:准备:
3台机机器(可以虚拟机)
主:
192.168.180.129 master
从:
192.168.180.130 slave2
192.168.180.131 slave1
jdk安装包
hadoop安装包
2:更改三台机器的名字(有些系统文件你的用户可以没权限访问,你可以切换到你的root用户下修改一下文件的权限 chmod u+w /etc/hosts)
Vi /etc/hosts 3台机器都需要配置
每台机器看一下网卡的对应的hostname 和 本地的名字是否一致 不一致的话修改一下
3:建立hadoop 运行账号
sudo groupadd hadoop //设置hadoop用户组
sudo useradd –s /bin/bash –d /home/hadoopmaster –m hadoopmaster –g hadoop –G root //添加一个hadoopmaster 用户,此用户属于hadoop用户组,且具有root权限
sudo passwd hadoopmaster //设置用户hadoopmaster用户的密码
su hadoopmaster //切换到 hadoopmaster用户中
以上3台机器都需要进行以上步骤来完成hadoop运行账号建立的操作
4:配置ssh免密码登陆
命令:ssh –****** –t dsa –P ‘’ –f ~/.ssh/id_dsa
以上命令是产生公私**,产生目录在用户主目录下的.ssh目录中,如下:
Id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件,这个步骤是必须的,过程如下:
命令:cat id_dsa.pub >> authorized_keys
另外两台机器同样的操作
单机回环ssh免密码登陆测试
即在单机结点上用ssh进行登录,看能否登录成功。登录成功后注销退出,过程如下:
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 回环登陆的时候就不会再提示
让主结点(master)能通过SSH免密码登录两个子结点(slave)
为了实现这个功能,两个slave结点的公钥文件中必须要包含主结点的公钥信息,这样
当master就可以顺利安全地访问这两个slave结点了。操作过程如下:
//在slave 节点执行
命令:scp [email protected]:~/.ssh/id_dsa.pub ./master_dsa.pub
Scp 没有权限的时候 在 /etc/sudoers 新加 hadoopmaster ALL(ALL) ALL (前提是修改文件有编辑权限)
接着,将master结点的公钥文件追加至authorized_keys文件中,通过这步操作,如果不出问题,master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下:
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 登陆的时候如果不在提示说明配置成功
slave2 节点同样的操作
表面上看,这两个结点的ssh免密码登录已经配置成功,但是我们还需要对主结点master也要进行上面的同样工作,这一步有点让人困惑,但是这是有原因的,具体原因现在也说不太好,据说是真实物理结点时需要做这项工作,因为jobtracker有可能会分布在其它结点上,jobtracker有不存在master结点上的可能性。
所以主节点也需要 对自己做一下免密码登陆认证 和 从节点的操作一下 最后测试
ssh master 能登陆上 说明成功了
5:安装jdk
去官网下载linux的jdk 注意 看自己系统是多少位的 我这里 用到的是32 位的所以下载时选择的是32位的安装包 86 代表的是32 位的
命令:uname -a
验证环境变量
然后下载hadoop安装包 解压
到目前为止,准备工作已经完成,下面开始修改hadoop的配置文件了,即各种site文件,文件存放在/hadoop/conf下,主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。
我这里用到用到的是 2.7.2 版本的
上面几个配置文件的地址 ./hadoop/etc/hadoop 下面
下载下来的安装包有可能有的文件没有 或者有的给了个 template 模板 没有的话 自己新建一个就好了
core-site.xml
hdfs-site.xml
mapred-site.xml
紧接着配置 hadoop-env.sh 新加
第一个是jdk的位置
第二个是hadoop的位置
6:配置master和slave 文件 有的版本下载下来可能没有 master 文件,自己新加一个就可以了
master文件中 配置一下 master就可以 之前我们配置的hosts 主机对应的 名字就是 master
slave配置 slave1 slave2 以为我们的从机器是两台,所以这块我没配置两个(每写一个换行)
7:向各个节点复制hadoop
命令:scp –r ./hadoop slave1
scp –r ./hadoop slave2
8:格式换 namenode
命令:hadoop namenode -format
注意:上面只要出现“successfully formatted”就表示成功了。
9:启动hadoop
10 用jps检验 各后台进程是否启动成功
从节点上也看一下
11:通过web页面查看集群情况 访问主节点的ip:/ 50070
温馨提示:如果本机访问不了虚拟机的地址话,把主节点的防火墙关掉就好了。
到这安装就完成了!
相关推荐
- yum 安装 appache php
- Adobe illustrator 2020 fo Mac苹果中文版安装教程
- eclipse mac 版下载 安装SVN
- 关于用conda安装torch包,所有的都正常,在pycharm导入torch包也没有报错,但是执行的时候报错的解决方法
- Adobe Photoshop CC for Mac 2019 中文免费版软件在线安装教程
- mac 安装PS出现下载adobe support advisor检测
- Adobe Experience Design是什么软件?xd mac版下载安装教程 XD 2021发布
- 安装插件解决eclipse没有JS代码提示的问题
- Adobe Audition 2020 for Mac安装不了怎么办?Au下载安装教程来啦 内附系统要求
- Mac版tomcat下载安装启动
- (Fewshot detection)Review:RepMet: Representative-based metric learning for few-shot detection
- Transductive Unbiased Embedding for Zero-Shot Learning阅读笔记