hadoop 2.6.x环境搭建

1、首先检测系统是否有Java环境

（1）若已经配置环境命令检测

（2）若没有，则配置jdk环境

去jdk官网下载最新版本的Linux版本的jdk，然后传到Linux上，进行解压

tar -zxvf jdk1.8.0_152

将Java添加到环境变量中去

vim /etc/profile

export JAVA_HOME=/home/unixnode/hadoop/jdk1.8.0_152

export HADOOP_HOME=/home/unixnode/hadoop/hadoop2.6.5

export PATH=$PATH:$JAVA_HOME/bin

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

环境变量刷新

source /etc/profile

2、对机器进行免密远程操作

进入用户目录生成公私钥

ssh-****** -t rsa

在进行免密的远程端进行同样操作

将.ssh/目录下的id_rsa.pub传送给要免密的机器

scp id_rsa.pub [email protected]:/root

在免密的对象.ssh/目录下新建authorized_keys，并将id_rsa.pub写到authorized_keys

cat ~/id_rsa.pub >> authorized_keys

通过ssh进行检测

其中自己设定IP简称是在/etc/hosts的文件中设置的

3、Hadoop环境配置

（1）在hadoop Apache官网上下载hadoop-2.6.5版本，在将压缩包传到机器上去

（2）修改hadoop-env.sh配置文件使其支持jdk(注意这里必须用绝对路径，不能用${JAVA_HOME})

vim /home/unixnode/hadoop/hadoop-2.6.5/etc/hadoop/hadoop-env.sh 

（3）修改core-site.xml文件

第一行：设置临时文件夹

第二行：NameNode URI

（4）修改hdfs配置文件

vim /home/unixnode/hadoop/hadoop-2.6.5/etc/hadoop/hdfs-site.xml

第一个参数：dfs的namenode的参数，即开启dfs后namenode访问的http页面和端口

第二个参数：secondnamenode的参数，和http查看页面和端口

第三个参数：备份数目

第四个参数：namenode目录   第五个参数：datanode参数

（5）将mapred-site.xml.templete改为mapred-site.xml（使用yarn框架）

（6）修改slaves文件，将其加上所有的datanode节点

（7）配置yarn-site.xml

（8）将几个节点都设置一样的设置配置

scp -r /home/unixnode/hadoop/hadoop-2.6.5 [email protected]:/home/unixnode/hadoop/

(9)准备工作

source /etc/profile

(10)检测

./bin/hadoop namenode -format

./sbin/start-all.sh

(11)网页检测

http://namenode:50070              /***hdfs*****/

http://namenode:8088                /****mapreduce过程*******/