大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)
敬语
为常年奋斗、努力工作在一线,并为操作系统发展做出突出贡献的的大佬们致敬,此处深思几分钟…
科普
CentOS(Community Enterprise Operating System,中文意思是:社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS并不包含封闭源代码软件。
https://wiki.centos.org/zh/Manuals/ReleaseNotes/CentOS7

正题
安装君手把手教你安装CentOS 7操作系统,进入正题,详细见下述安装步骤:

下载镜像文件

由于文件比较大,在加上现在网盘各种本土限制,再加上买不起的会员,所以小伙伴自行去官网下载哦,下述为本次需要安装的操作系统信息:

  1. 操作系统:CentOS-7-x86_64-DVD-1708.iso (64位哦)
  2. 下载地址:https://www.centos.org/download/
  3. 系统官网:http://www.centos.org (操作系统的前世今生一览无遗)
下载镜像须知

官方(http://www.centos.org/)提供三个版本,分别如下:
1. DVD ISO 标准版本(服务器安装推荐使用)
1. Everything ISO 对完整版安装盘的软件进行补充,集成所有软件
1. Minimal ISO Mini版本,只有必要的软件,自带的软件最少

系统安装开始

此处以VMware® Workstation 12 Pro 为例,关于VMware® Workstation 12 Pro安装后续更新,小伙伴要关注哦…
大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

操作系统检测,可对其所运行的软件环境进行检测,如果有问题会显示出来,不过需要5分钟左右的时间(机器配置差就不说了哈),不想等待的小伙伴可以直接选择安装,Install CentOS7 ,不需要检测即可;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

开始进入安装;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

安装进行中…;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

选择操作系统语言,点击下一步(Continue),友情提示:推荐英文;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

选择操作系统分区,可以自行配制分区,也可以选择默认的磁盘分区

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

操作系统主配置界面,可配置软件,安全、系统、网络等方面,重点关注下属几个方面配置:
1. NETWORK & HOST NAME 网络配置,具体配置参见第 7 步;
1. SOFTWARE SELECTION 软件配置,此处选择最小化安装,不包括其他软件以及GUI组件,友情提示:服务器推荐使用该参数,想用界面的小伙伴可以使用GUI可视化界面;
1. INSTALLATION DESTIONATION 分区配置;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

配置操作系统网络环境,可手动配置也可以自动配置;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

配置完成之后进行下一步,正式开始安装;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

配置账号,可以root账号密码,也可以创建用户操作;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

安装完成之后系统自动重启;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

输入账号/密码,登录第9步配置的账号或root密码;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

至此万能的CentOS 7 操作系统安装已经成功,大喜….;

大数据集群基础篇章

一般大数据基础组件,不管是Elasticsearch、Hbase、Hadoop、Zookeeper、Spark或者其他,随着业务系统和数据的积累,都不可避免的都需要提供灵活、可扩展的底层物理设备的支撑,进而就对软件前期的规划、架构就有了相对比较严格的要求,需要可以实现水平扩展,那么一般情况下,通用的大数据组件核心主要底层可能会分为数据节点、主从Master、客户端,那么根据这些核心的组件,最低的节点保证7台即可,后续跟随业务量不断的扩单,即可实现水平扩容,几个节点大概的应用、配置适当描述一下,见下述:

  1. 数据节点:对磁盘要求比较高、读写速度快(SSD、转速高),当然跟着业务走了,机械也是没有问题的
  2. 主从节点:一般都是存储源数据,对内存要求较高,建议在条件允许下,根据业务适当提升内存
  3. 客户端节点:对网络要求比较高,一般客户端节点核心工作就是做访问负载均衡,实现高可用

针对上述要求,前期我们已经安装了一台虚拟机,接下来我们根据实际情况,进行克隆即可,不需要再一台一台的进行安装(比较费时,而且也没有必要),总共需要克隆7台,详细如下:

序号 节点 备注/Hostname
1 server01-128 数据节点1 / node1
2 server02-129 数据节点2 / node2
3 server02-130 数据节点3 / node3
4 server02-131 主从1 / node4
5 server02-132 主从2 / node5
6 server02-133 客户端节点1 / node6
7 server02-134 客户端节点2 / node7

附一下本机的机器配置
大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)
VMware Workstation 版本
大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

克隆机器的方法如下

此处仅演示一台,其他5台操作步骤一模一样,克隆之前需要关闭需要克隆的虚拟机

第一步 选中需要克隆的虚拟机》右键》管理》克隆

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

第二步 出现克隆向导,点击下一步

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

第三步 点击下一步

如果目标虚拟机存在快照,也可以直接从某一个快照中选择,因为目标虚拟机为裸机,没有快照,所以下面快照选项是无法选择的;

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

第四步 选中下面一个选项,创建完整克隆,点击下一步

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

第五步 选择输入虚拟机名称以及对应克隆的位置,点击完成

我一般会安装到D:\ProgramData\vmwarea\centos\server08

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

第六步 克隆进行中

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

下来就是该名称:server04-131, 启动虚拟机,进去并登录
大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

网络配置(IP)

静态IP设置

  1. cd /etc/sysconfig/network-scripts
  2. vi ifcfg-ens33

TYPE=”Ethernet”
PROXY_METHOD=”none”
BROWSER_ONLY=”no”
BOOTPROTO=”static” #修改dhcp > static
DEFROUTE=”yes”
IPV4_FAILURE_FATAL=”no”
IPV6INIT=”yes”
IPV6_AUTOCONF=”yes”
IPV6_DEFROUTE=”yes”
IPV6_FAILURE_FATAL=”no”
IPV6_ADDR_GEN_MODE=”stable-privacy”
NAME=”ens33”
UUID=”6504d73f-6587-4cb1-9d5d-11db1610765d”
DEVICE=”ens33”
ONBOOT=”yes” #no > yes
IPADDR=192.168.91.128 #IP
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.91.2 # 网关

DNS配置

vi /etc/resolv.conf

#Generated by NetworkManager

nameserver 8.8.8.8
nameserver 8.8.4.4

修改主机名称

vi /etc/hostname
node1

重启网络

systemctl restart network

验证网络配置

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

作者:
    Martin
描述:
    全观数据栈,焦距行业、科技、技术、区域性大数据


大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

看完这张图,就到此结束吧!