大数据(一)--------环境搭建
一、安装虚拟机及Linux
虚拟机我装的VMware14,Linux我装的CentOS8,具体安装的过程网上教程很多,我就不再赘述了,装的过程中遇到的问题我都汇总在了另一篇文章中”大数据学习遇到的那些坑“。
能到上图所示的时候就说明虚拟机以及Linux系统已经安装好了。
二、让虚拟机能够联网
1、虚拟机设置固定IP
将虚拟机设置成固定ip的好处在于每次使用它的ip都是固定的,方便,而且有时候电脑连无线的时候ip回经常变化,而且家里的网和公司的网ip不一样,如果不设置成固定ip的话每次都需要手动去执行读取文件统一ip的操作,不是方便。
设置方法:打开VMware并保证里面的系统都处于关闭状态;然后点击“编辑 ----> 虚拟网络编辑器”
按图示步骤依次点击进行设置。比如我这里想设置的ip是“192.168.1.***”,所以编号为3的地方需要设置为 192.168.1.0,编号4的地方需要设置为如下:只需修改所示位置即可
编号5的位置设置如下:所示位置前三个网段保持一致,最后一个是一个范围,可设置在0-255之间,需要注意的是你之后打算用的IP需要在这个范围之内;比如我之后打算用 192.168.1.112,因此我这设置的范围就是 110-254 。
2、windows网络设置
找到下图所示的东西,右键” 属性“;
打开之后双击 ipv4
使用gudingip并作如下设置
3、关闭防火墙
进入虚拟机后打开centOS系统并登录,进行如下操作:
查看防火墙:systemctl status firewalld.service
关闭防火墙:systemctl stop firewalld.service
禁用防火墙:systemctl disable firewalld.service
4、修改selinux
用命令打开该文件: vi /etc/selinux/config
将 SELINUX=enforcing 改为 SELINUX=disabled
5、修改IP
使用如下命令打开文件进行修改配置:
vi /etc/sysconfig/network-scripts/ifcfg-ens33 用tab键自动补全,因为最后带颜色的部分不同电脑可能会不太一样
修改以下几项:带颜色的表示修改或增加
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.1.111
GATEWAY=192.168.1.2
DNS1=8.8.8.8
DNS2=8.8.4.4
NETMASK=255.255.255.0
6、重启网络
service network restart
CentOS7及之前是这个命令,之后的版本命令有所变化。
上面的操作全部做完之后就可以检查能否连上网了。
检测能否连外网:ping www.baidu.com
检查能否连本机:ping 192.168.1.2
出现如下图所示的状态表示虚拟机系统可以联网了。
7、IP与主机名进行映射
使用命令: vi /etc/hosts 打开文件,添加下面的设置
再在 windows 的 C:\Windows\System32\drivers\etc 路径下找到 hosts 并添加
192.168.1.51 bigdata111
192.168.1.52 bigdata112
192.168.1.53 bigdata113
做这个映射的目的在于将主机名字和唯一IP进行绑定,之后就可以使用主机名更方便的代替IP进行操作。
三、用Xshell连接虚拟机
首先点击图标新建连接
在输入连接的主机ip,之后点击”用户身份验证
输入用户名和密码后点击“确定”开始连接;
然后出现的弹出框点击“保存并接受”就可以了,连接上之后状态如下:
四、安装并配置JDK及hadoop
先查询是否有java,使用命令 rpm -qa|grep java查看,如果有就不用安装,如果不想要需要卸载可以使用命令 rpm -e 软件包名字 ;我这没有需要安装。
首先在Linux系统的 /opt目录下新建两个文件夹,module作为安装路径,software作为安装包路径
然后点击Xshell里面的文件传输,将左边windows里面的文件传输到右边Linux对应的目录下
传了两个安装包,一个是java的jdk,一个是hadoop,注意两个都要是Linux系统的。之后使用命令将安装包解压到module目录下: tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/,hadoop的解压方式相同
环境变量的配置
解压完之后进入到对应的目录之下配置环境变量。首先到对应的目录下找到JDK和HADOOP的绝对路径,如图:
然后执行命令 vi /etc/profile 打开该文件,在最后添加环境变量:
添加并保存后,执行命令 source /etc/profile 使刚才的配置被**
验证是否配置成功
执行命令 javac,能看到很多java相关信息;再执行命令 java -version能看到java的版本信息则说明JDK配置成功。
start-dfs.sh,不执行该命令,但是用 tab 键能够补全该命令则说明 HADOOP 配置成功。
再执行命令 jps 查看进程,看到有进程在运行。
至此,基本的 LINUX 环境已经搭建好,而且装好了 java 和 hadoop,接下来就可以搭建伪分布式和完全分布式了。