Hadoop分布式搭建（虚拟机）001

本文由博主--Bear Wang 手敲，如有雷同，不胜荣幸。欢迎指错！

博主QQ759502416 答案：王胡雄

1.修改ip，关闭防火墙（主机和虚拟机都关闭）使虚拟机能ping同主机
2.修改主机名以及映射
   1） sudo vim /etc/hostname
   2) sudo vim /etc/hosts （将所有的域名和映射都写到文件中）
   Hadoop分布式搭建（虚拟机）001
3.解压JDK,配置JDK环境
       1）解压安装java
       2）配置环境变量
       3）source /etc/environment 执行此操作让环境配置生效
4.解压hadoop
5.配置hadoop
       1）hadoop 的etc目录下的hadoop的hadoop-env.sh文件，修改JAVA_HOME
       2) 修改 core-site 文件配置fs.defaultFS 为 hdfs://主机名：9000/
           还要配置haoop.tmp.dir（服务进程工作时的临时目录）
       3）修改 hdfs-site 文件 dfs.replication(文件副本保存数量)
       4）修改mared-site.xml.template 复制一份去除后缀.template （使之生效却又留有余地）
           编辑 mared-site.xml mapreduce.framework.name(指定平台)为yarn
           （mapreduce本身并不能直接在haodoop中运行，我们需要借助底层平台来运行）
       5）修改yarn-site yarn.resourcemanager.hostname 为你要设置的主节点的名称
               yarn.nodemanager.aux-services 为 mapreduce_shuffle

       6) slaves 文件指定从节点
6.启动Hadoop
       1）格式化namenode
           进入hadoop的bin/ 执行命令 hadoop namenode -format
       2）手动启动各服务进程(hadoop-daemon.sh 通过hadoop的守护进程进行操作)：
           在 sbin/目录下启动 ./hadoop-daemon.sh start namenode
           ./hadoop-daemon.sh start datanode
           ./hadoop-daemon.sh start secondarynamenode
           通过jps指令可以查看进程是否起来了
通过 netstat -nltp查看进程监听的端口
               发现有一个9000的端口是服务间通信用的，50070端口是外部访问的一个端口
       我们还要启动yarn的服务进程(通过yarn的守护进程进行操作)
           ./yarn-daemon.sh start resourcemanager
           ./yarn-daemon.sh start nodemanager
           那么问题来了，mapreduce，我们需不需要启动服务进程呢？不需要，mapreduce是编程框架，
               并没有服务进程，是一个jar包库。mr是让别人hdfs和yarn来干活
       3）自动启动hadoop
           /sbin 下执行 start-dfs.sh start-yarn.sh
           需要输入密码？
           配置ssh的免密登录
           1.ssh-******
           2.ssh-copy-id 目标主机

   7.单节点的伪分布式集群扩展为多节点的分布式
       1)拷贝hadoop到其他机器
       2)修改主节点上的slaves文件将从节点添加上去
       3)配置hadoop的bin目录和sbin目录到环境变量去
       4）再次使用start-dfs.sh start-yarn.sh（由于配置了环境变量。任何地方都可以用）
           检查相关服务器的jps 查看分布式集群是否以及启动起来

主机访问主节点的50070端口，检测是否能正常访问

Hadoop分布式搭建（虚拟机）001

相关推荐