Hadoop 2.X的安装与配置
Hadoop 2.X的安装与配置
1、Hadoop的安装模式:
(1)本地模式
(2)伪分布模式
(3)全分布模式
2、虚拟机:tanzhou111
准备工作:关闭防火墙、安装JDK、设置主机名
tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
设置环境变量: vi ~/.bash_profile
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
生效:source ~/.bash_profile
3、本地模式
(1)特点:不具备HDFS的功能,只能测试MapReduce程序(处理的是Linux的文件)
(2)配置:hadoop-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144
(3)Demo:例子:/root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt ~/output/wc0906
4、伪分布模式:一台
(1)特点:在单机上模拟一个分布式的环境
HDFS: 主节点 NameNode 从节点:DataNode(一个) SecondaryNameNode
Yarn: 主节点 ResourceManager 从节点 NodeManager(一台)
具备Hadoop的所有功能,开发测试阶段
(2)配置:
hadoop-env.sh
26 export JAVA_HOME=/root/training/jdk1.8.0_144
hdfs-site.xml
<!--配置数据块的冗余度-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--关闭HDFS的权限检查-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--可添加可不添加-->
<property>
<name>dfs.name.dir</name>
<value>/root/training/hadoop-2.7.3/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/training/hadoop-2.7.3/data</value>
</property>
core-site.xml
<!--配置NameNode地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.157.111:9000</value>
</property>
<!--配置数据在Linux上保存的位置-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
vi mapred-site.xml
<!--MR运行的框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 配置job history相关配置在mapred-site.xml文件中添加如下配-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>39.108.176.119:10020</value>
</property>
vi yarn-site.xml
<!--yarn的主节点 RM-->
<property>
<name>yarn.resouremanager.hostname</name>
<value>192.168.157.111</value>
</property>
<!--NodeManager运行MR程序方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
(3)对HDFS进行格式化 hdfs namenode -format
日志:
17/09/06 22:24:53 INFO common.Storage: Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.
端口下面说明:
mapreduce管理界面:http://localhost:8088
NameNode界面:http://localhost:50070
HDFS NameNode界面:http://localhost:8042
(4)启动: start-all.sh = start-dfs.sh + start-yarn.sh