您的位置: 首页  >  文章  >  开始创建hadoop环境

开始创建hadoop环境

分类: 文章 • 2024-09-16 12:54:40

开始创建hadoop环境

开始创建hadoop环境

linux准备

你好！ 首先要下载hadoop和jdk环境包，我这儿环境是

  1. hadoop-3.0.3.tar.gz
  2. jdk-8u191-linux-x64.tar.gz
  3. centos 7

配置静态ip

  1. 修改虚拟机ip 与本机相通 采用桥接模式共享端口
    开始创建hadoop环境
    可以在/etc/networks中编辑dns地址；
  2. 确保网络通畅后 使用yum 安装 nettools
    这样可以使用netstat,ifconfig等命令

修改主机名与映射关系

vim /etc/hostname
hadoop1
vim /etc/hosts			
192.168.1.100	hadoop1

解压文件

  1. 解压jdk到 /usr/java/ 中
  2. 解压hadoop 到/cloud/中

配置环境

  1. 将java添加到环境变量中vim /etc/profile
    #在文件最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_191
export PATH=$PATH:$JAVA_HOME/bin

  1. 刷新配置
    source /etc/profile

  2. 修改配置文件（5个）
    . 第一个：hadoop-env.sh# 修改JAVA_HOME的路径为绝对路
    export JAVA_HOME=/usr/java/jdk1.8.0_191
    . 第二个：core-site.xml

<configuration>
	<!-- 指定namenode的通信地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop1:9000</value>
	</property>
		<!-- 指定hadoop运行时产生文件的存储路径 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/cloud/hadoop-3.0.3/tmp</value>
	</property>
</configuration>

第三个：hdfs-site.xml

<configuration>
	<!-- 设置hdfs副本数量 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

第四个：mapred-site.xml 修改配置文件

<configuration>
	<!-- 通知框架MR使用YARN -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

第五个：yarn-site.xml

<configuration>
	<!-- reducer取数据的方式是mapreduce_shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定yesouceManager的主机地址 -->
	<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop1</value>
                <description></decription>
        </property>

</configuration>

将hadoop添加到环境变量
vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/cloud/hadoop-3.0.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile
格式化HDFS（namenode）第一次使用时要格式化
hdfs namenode -format

配置环境变量
原因没有配置用户变量
挨个配置一下

[[email protected] hadoop-3.0.3]# vi sbin/start-dfs.sh
[[email protected] hadoop-3.0.3]# vi sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

[[email protected] hadoop-3.0.1]# vi sbin/start-yarn.sh
[[email protected] hadoop-3.0.1]# vi sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

启动hadoop(这里可能会出现你输入的密码错误，如果密码时正确的却提示错误，可先配置免密登陆，再启动)

启动Hadoop

sbin/start-dfs.sh
sbin/start-yarn.sh
或者使用
sbin/start-all.sh
其他过时

然后可以访问web界面进行管理
MapReduce管理界面
http://192.168.1.100:8088/cluster/nodes
HDFS 管理界面
http://192.168.1.100:9870/dfshealth.html#tab-overview
tomcat管理界面
http://192.168.8.118:8080
远程启动另一天电脑的tomcat命令 ...
ssh-****** -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
需要在本机和远程机器配置

相关推荐