hadoop从零配置(centOS7)

Hadoop的基础配置

主要分为:虚拟机配置,mysql+java环境配置,hadoop组件配置。文章资源都已百度云 链接.提取码:ebte
centos盘片超过4G没有会员无法上传。同学们自行百度噢

虚拟机配置

1.1基本配置

VirtualBox >>>新建>>> 选择配置(名称取自己喜欢的):hadoop从零配置(centOS7)
下一步>>>内存,建议使用1G(1024M),高配选手看情况可以右边拉满(反正越大越快)

hadoop从零配置(centOS7)
下一步>>>现在创建虚拟硬盘
hadoop从零配置(centOS7)
解释:
VDI是VirtualBox的基本格式。专门针对VirtualBox设计的,一般来说其他虚拟机软件用不了。
VMDK是专门为VMWare开发,但其他虚机像Sun xVM,QEMU,VirtualBox,SUSE Studio和.NET DiscUtils也都支持这种格式。
VHD是Microsoft Virtual PC的基本格式。这是在Microsoft产品系中受欢迎的格式。
链接出处.
下一步>>>动态分配(中文解释已经很清楚了)
hadoop从零配置(centOS7)
下一步>>>创建(安装磁盘空间不够的同学可以选择右边文件夹修改创建的虚拟磁盘的位置)

hadoop从零配置(centOS7)
创建完成后设置两块第一块网卡NAT网卡+第二块Host-Only网卡(对笔记本电脑上网环境经常变动的同学)
hadoop从零配置(centOS7)
下一步>>>设置共享文件夹
hadoop从零配置(centOS7)
设置文件夹路径(自己选择一个空的文件夹)>>>勾选自动挂载
hadoop从零配置(centOS7)
下一步>>>添加盘片(百度网盘没有会员大家自行网络上找下资源CentOS光盘)
hadoop从零配置(centOS7)
双击开始运行我们的虚拟机>>>语言选择>>>简体中文(虽然进去了依旧全是英文。。。)
hadoop从零配置(centOS7)
逐一检查安装项(虽然都看不懂但还是要点开看看)
网卡及主机名称>>>检查下两块网卡都有了没>>>主机名称改成master(也可以后面改这个随意)

软件选择>>>最小安装>>>调试工具,开发工具,安全性工具
hadoop从零配置(centOS7)
开始安装(这个过程会比较长)等待安装的同时设置ROOT密码和hadoop账户(账户的密码需要自己记得尤其ROOT账户)
hadoop从零配置(centOS7)
安装完成重启进入这个登入界面
账号:root 密码:******(你刚刚设置的)密码打错了不好改,直接回车再打一次
hadoop从零配置(centOS7)
看到这个画面就我们那的1.1阶段就大功告成了!!!(Python37-32是我后面装的大家应该是没有的)看到这个#号标志现在我们使用的是root账户在进行操作,后续过程会切换到hadoop用户进行我们的操作(关于Linux的基础知识可以同学们可以去补充下噢)

1.2 配置网络

这一个部分是我出错最多的地方,重来了不知道多少遍。很多时候完全不知道甚至出现时好时坏的情况,建议大家配置前沐浴更衣,焚香祈福噢。出现百度解决不了的问题,建议从第一步重装。
第一步>>> cd /etc/sysconfig/network-scripts/ (切换网路配置的目录)>>>ls (显示当前目录下的文件)观察有没有我们需要配置的两块网卡文件
hadoop从零配置(centOS7)
ifcfg-enp0s3是我们的NAT网卡连接外部网络使用的网卡,ifcfg-enp0s8Host-Only网卡是我们集群相互之间通信使用的网卡。
下一步>>>vi ifcfg-enp0s3 (修改里面的ONBOOT字段为yes)
编辑模式 Insert
修改完成退出 Esc>>>:wq>>>回车
下一步>>>vi ifcfg-enp0s8
hadoop从零配置(centOS7)
需修改的就是红线画出的字段
对其中的字段进行解析:
IPADDR:IP地址
NETMASK:子网掩码
GATEWAY:网关
DNS:地址解释器?中文名记不清了就是把域名翻译成IP地址的功能呢
回到VM VirtualBox管理器界面>>>管理>>>主机网络管理器>>>DHCP服务根据限定的范围选择一个IP地址写入IPADDR
hadoop从零配置(centOS7)
Windows下cmd>>>ipconfig>>>找Host-Only的信息
hadoop从零配置(centOS7)
根据这个地方提示的子网掩码和网关来填写
最后,DNS就是8.8.8.8或者114.114.114.114或者写成和主机的DNS一样
回到命令行
systemctl restart network (重启网络服务)重启之后才会生效
systemctl stop firewalld (关闭防火墙) ping百度时可能需要用到,反正是测试环境先关了再说,后面集群间进行通信也需要关
在之后ping www.baidu.com
ping 自己的主机IP(cmd输入ipconfig查看)
在自己的主机上ping 自己的虚拟机的IP(自己刚刚写的IP地址)
三个都平通之后就可以有Xshell连接自己的虚拟机了(xshell远程连接服务器进行操作)一般来说服务器和程序员编写代码的电脑都不是同一台机器所以需要我们的Xshell来远程连接服务器来操作(当然我们不算一般情况,但还是用Xshell舒服一点)。

1.3 设置共享文件夹

hadoop从零配置(centOS7)
设备>>>安装增强功能(建议多按几次,报错了不用管)
hadoop从零配置(centOS7)
去主机和虚拟机上各自新建一个文件试试效果。
希望开机自动挂载共享文件
到/root目录下修改 .bash_profile文件(注意开头有个点)

hadoop从零配置(centOS7)
关于虚拟机的配置目前就到此完成啦。

JDK+mysql配置

2.1 JDK