学习笔记之大数据基础环境搭建
前言
现如今随着人工智能的不断兴起和诸多伴随人工智能或者大数据而产生的行业越来越火，使得大数据这个风口的来临已经加快了脚步。如果想要分得大数据的红利，吃一杯大数据的羹，就比如站在风口上让风来吹我们这些“猪”才行。
准备
由于我是Windows系统，所以我采用虚拟机来搭建实验环境。
1、ISO镜像文件：我是基于RedHat Enterprise 7.4 x64来搭建的实验环境。所以请各位看官自备ISO文件。
2、虚拟机：虚拟机使用VMware Workstation Pro来作为虚拟机平台，但是需要12版本以上。因为12以下的版本不支持RedHat7.4。
搭建环境
此处省略虚拟机安装步骤，选好安装的文件夹后基本都是下一步下一步即可完成。
1、创建虚拟机：
2、选择自定义，因为要自己配置一些设置信息：
3、选择硬件兼容性——> 默认选择12版本即可
4、选择安装来源为 “稍后安装操作系统”。这里需要说一下，有两个原因，第一是因为需要进行一些配置的更改，第二个原因是如果直接在这里选择了安装光盘进行加载安装的话，极小概率会造成系统有问题或者是安装的系统有乱码情况。
5、选择Linux版本，第一个选项一定要选Linux，第二个一定要选择“RedHat Enterprise Linux7 64位”，否则我们待会加载的ISO文件可能会出现问题或者不能加载。
6、命名虚拟机。由于我们是搭建伪集群的Linux环境，所以虚拟机名称最好取的有意义一些，比如用末尾IP做标识，直接命名为 “bd100”，后续的机器命名为“bd101”、“bd102”….然后位置选择一个虚拟机的存放位置，目录最好以英文命名并且没有空格等特殊字符以防止出现意外情况。
7、处理器配置。由于我们是搭建集群环境，所以CPU资源有限，这里选择默认项即可，不要过分分配虚拟机资源，导致自己的主机变卡、变慢。
8、虚拟机运行内存大小分配。这里同上，使用默认配置即可，但是最好保证在1G以上，否则虚拟机运行时会很慢。
9、网络类型配置。这里我们选择“Host-Only 仅主机模式”。我们只需要保证虚拟机可以和Windows主机之间进行网络通信即可。具体不做赘述，文末会帖出关于网络类型的文章。
0、I/O控制类型默认即可。
11、磁盘类型默认即可。
12、选择磁盘空间。如果之前创建过该类型的虚拟机可以选择 “现有的虚拟磁盘”，当然也可以选择 “使用物理磁盘”，但是使用物理磁盘会直接操作本地磁盘。“数据无价，谨慎操作！”为了安全起见，我们创建新的虚拟磁盘。
13、分配虚拟机的物理内存大小。默认为20G，因为后续需要装许多软件，所以20G难免有些紧巴巴的，不过这个可以根据自己电脑硬盘实际情况来操作。当然，这个后续也是可以修改的。所以我这里就先默认20G。另外，不建议勾选“立即分配所有磁盘空间”，刚开始我们的虚拟机并没有多少东西，如果勾选了该选项，则会立即分配20G的实际占用，事实上我们希望他用多少占多少。
14、指定虚拟文件存储路径。将路径选择在6的保存位置即可。
15、确认虚拟机信息，一般到这里都是没有问题的，大概浏览一下后觉得有问题可以返回上一步去修改，如果确认无误，点击完成就完成了“空壳”虚拟机的创建。
16、加载ISO镜像文件。经过前面15个步骤，我们已经创建了一个没有灵魂的虚拟机，现在我们要为创建的虚拟机加载镜像文件。首先点击左侧的“CD/DVD”选项或者“编辑虚拟机设置”然后再点击“CD/DVD”选项，然后右侧勾选“启动时连接”，这样虚拟机就会在启动的时候自动去加载指定位置下的镜像文件。最后在“连接”选项中选择“使用ISO映像文件”选择自己下载好的镜像文件即可。最后都设置完毕以后，点击“开启此虚拟机”就可以了。
17、安装操作系统。选择第一项安装Redhat操作系统然后等待进入下一个界面。
18、这个窗口显示按Enter键开始安装，这一步可以按也可以不按，等一会就好了。
19、进入图形界面安装并选择语言。为了增加学习的必要性，所以这里我选择了英语，不习惯英文的也可以选择中文，然后点击continue。
20、设置时区和时间。这里首先设置一下时区为北京、上海所在的东八区，由于这里没有北京，所以选择东八区的时候默认为上海。
21、选择软件安装的选项。这里默认为最小安装，即只有命令行的操作系统，有点类似于服务器的操作系统。对于我们学习来说，我们需要安装图形界面，这样操作起来会更加方便一些，这里我们需要改一下。
这里我们选择“Server with GUI”——带图形界面的服务器选项，另外需要勾选“Development Tools”——开发者工具。勾选这个选项是因为该工具自带gcc，gcc是用来编译Redis的，有这个的话我们最好勾选上，省的到时候报错了再安装比较麻烦。
22、安装位置选择。接下来我们需要继续配置带感叹号图标的选项，这里需要选择挂载硬盘，可以自己创建更多的硬盘也可以使用第13步分配的20G硬盘。这里我选择默认使用第13步中我创建的20G硬盘。
你会发现当你选择好了安装位置以后，上面原本灰色的按钮都会自己动配置好。
23、配置网络（重要）这里的网络配置相当重要，如果配置不好可能造成主机和虚拟机之间无法通信，也可能造成虚拟机和虚拟机之间无法通信的问题。
进入第二个界面后首先先打开以太网的网卡，然后把默认的localhost主机名改成和虚拟机名称一样的名字，这样以后相互之间连接的时候比较方便。然后我们需要点击“Config”按钮进行静态IP的配置，防止由于IP地址的变更造成我们的集群相互直接不能连通。
在General里面勾选自动连接网络选项。
然后再IPv4里面选择“Manual”手动配置IP地址。但是需要添加的IP与VMware虚拟机在同一网段内才行，否则可能导致虚拟机和虚拟机之间不能相互访问或者主机和虚拟机之间不能相互访问的现象。那如何来查看VMware虚拟机在哪个网段呢？其实上一步23-2里面的右侧有一个“IP Address”里面就可以看到网段，如果实在不行，可以通过DOS命令“ipconfig /all”来找到一个叫做“VMware Network Adapter VMnet1”的网络适配器，该适配器下的IP地址就是VMware的网关。
需要设置一个静态的IP地址，而且虚拟机名称的bd100就是根据这个IP地址而来。
24、关闭一些不必要的设置，减少不必要的内存占用。这里的“KDUMP”是Kernel Dump，可以理解为Linux内核的日志系统，当Linux内核发生崩溃时，该程序会打印相关的LOG信息，这里由于我们是虚拟机系统，所以不需要此功能。
25、关闭安全策略。由于我们是实验环境，主要练习技能，所以减少不必要的干扰。
26、所有配置均已完成，点击开始安装启动操作系统的安装。
27、设置Root用户密码。由于以后基本都是操作root用户，所以root用户密码非关键，而普通用户我们可以随意创建一个即可。最终安装完成以后点击“reboot”按钮重启一下即可。
28、配置主机名和IP地址。在/etc/hosts下将我们刚才设置的静态IP地址和对应的主机名添加进去就可。
切换到root用户下
配置IP地址和主机名
至此，基本的环境已经搭建完成了！伪集群的话就是再以同样的方式再搭建3~4台虚拟机服务器即可。
后续内容下次再更新~