大数据环境初始化

一:Linux的安装

 大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

大数据环境初始化

二:NAT网络设置

    桥接网络: 虚拟机使用本地网络,和本机ip值 相同!

    仅主机:只能和本机进行通讯,无法上网!

    NAT:即可以上网,也可以和本机进行通讯!

2.1本机设置

大数据环境初始化
大数据环境初始化
大数据环境初始化
大数据环境初始化

2.2虚拟机的设置

大数据环境初始化
大数据环境初始化
大数据环境初始化
    之后设置本机网络共享!
大数据环境初始化
大数据环境初始化

2.3提示线缆被拔出错误解决方法

https://jingyan.baidu.com/article/76a7e409d07558fc3a6e155c.html

 

2.4开机自启动网络连接

 

  cd  /etc/sysconfig/network-scripts/  切换到指定的目录

大数据环境初始化
大数据环境初始化

三:克隆子机器

3.1前提:关闭需要克隆的虚拟机

大数据环境初始化
大数据环境初始化
大数据环境初始化
大数据环境初始化
大数据环境初始化

    按以上步骤克隆两个子机器!

 

3.2修改机器的ip和主机名称

1.修改slave1IP地址为  192.168.27.3

大数据环境初始化

2.修改slave2IP地址为  192.168.27.4

大数据环境初始化

3. 修改3台虚拟机的ip地址和主机名称的对应关系

    使用XShell 连接3台虚拟机

大数据环境初始化

大数据环境初始化

    同理,修改slave1 和 slave2的主机名称

大数据环境初始化

大数据环境初始化

    主机名称和IP地址对应

        Vim  /etc/hosts  编辑此文件

大数据环境初始化

大数据环境初始化
大数据环境初始化

四:SSH免密码登陆

4.1:修改etc/hosts文件

    Master  slave1  slave2hosts文件如下

大数据环境初始化

    三个虚拟机中的文件都一致!

4.2SSH免密码登陆

    1. 在本机生成**:ssh-****** -t rsa

大数据环境初始化


    2.把本机生成的id_rsa.pub复制到另外两个

       子机器中,重命名为authorized_keys

       scp id_rsa.pub [email protected]:~/.ssh/authorized_keys

大数据环境初始化
大数据环境初始化

 

  3.分别在两个子机器中把authorized_keys

    文件的权限改为600

     chmod 600 authorized_keys

 大数据环境初始化

  4. master节点使用下面命令

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (把id_rsa.pub追加到授权的key里面去)

  5. 在所有机器上使用下面命令

    vim /etc/ssh/sshd_config (修改SSH配置文件"/etc/ssh/sshd_config"

    RSAAuthentication yes # 启用 RSA 认证

    PubkeyAuthentication yes # 启用公钥私钥配对认证方式

    AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

大数据环境初始化

五:关闭防火墙

 

    firewall-cmd --state                           查询防火墙状态

    systemctl  stop firewalld.service                  关闭防火墙

    systemctl  start firewalld.service                 开启防火墙

    systemctl  disable firewalld.service                禁止开启启动防火墙

        三台电脑的防火墙都需要关闭! 本机防火墙也需要关闭!

 

六:JDK的安装

6.1:在master电脑上的根目录中创建 bigData目录

大数据环境初始化

6.2:使用XFTP将下载好的JDK放进bigData目录中

大数据环境初始化

6.3:解压JDK

    tar -xvf   jdk-8u121-linux-x64.tar.gz

大数据环境初始化

  进入解压文件夹之后 复制 当前路径!

大数据环境初始化

    /bigData/jdk1.8.0_121

6.4:配置JDK  编辑  /etc/profile文件

    JAVA_HOME=/bigData/jdk1.8.0_121

    PATH=$JAVA_HOME/bin:$PATH

    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    export JAVA_HOME

    export PATH

    export CLASSPATH

    profile文件立即生效!

    source   /etc/profile

大数据环境初始化

6.5:把master中的bigData文件夹复制到其他两台子机器

    scp  -r   /bigData   [email protected]:/bigData

    scp  -r   /bigData   [email protected]:/bigData

6.6:把master中的profile文件复制到其他两个机器中

    scp     /etc/profile   [email protected]:/etc/profile

    scp     /etc/profile   [email protected]:/etc/profile 

    之后让两个子机器中的profile文件生效

    分别在两个子机器中运行

    source   /etc/profile