hadoop+zk+flume+kafka+mysql+hive+redis+es+Rmq+hbase+spark+storm+azkaban
@[TOC]基于hadoop的大数据集群搭建
一、 软件安装目录及版本信息： 3
- 软件安装目录及版本信息： 4
1.1 Jdk：jdk1.8.0_131 4
1.2 Hadoop：hadoop-2.8.2 4
1.3 mysql：5.5.47 4
1.4 Flume：apache-flume-1.6.0-bin 4
1.5 Storm：apache-storm-1.1.3 4
1.6 Hbase：hbase-1.2.6 4
1.7 Hive：apache-hive-1.2.0-bin 4
1.8 Redis：redis-4.0.12 4
1.9 Spark：spark-2.3.0-bin-hadoop2.6 4
1.10 Elasticsearch：elasticsearch-6.3.2 4
1.11 Azkaban：azkaban-db-0.1.0-SNAPSHOT 4
二、 安装VMware 虚拟机(centos6,cntos7) 5
三、 进行系统设置 30
(1) VMware虚拟机NAT模式上网设置 30
a. 虚拟机安装好后 30
b. 设置虚拟机NAT模式的网段 31
c. 编辑物理机的虚拟网卡地址(VMnet8) 31
1> .选择自动获取ip地址 31
2> .windows下查看本机ip 31
d. 编辑虚拟机的网卡IP地址，然后重启网卡服务让其生效。 32
1． 安装RZ传输软件 34
2． 使用rz软件传输软件包到 /opt下(路径自己选择) 34
3． 将各软件包传输到linux下 /opt 34
(6) 配置jdk环境（这里选的是jdk8） 34
四、 虚拟机克隆 35
五、 软件安装 36 - 安装zookeeper 36
- 安装Hadoop HA 39
a、 core-site.xml(common属性配置) 39
b、 配置hdfs-site.xml文件 40
c、 配置mapred-site.xml文件 41
d、 yarn-site.xml（关于yarn相关配置） 41
e、 配置slaves文件 指定datanode（从机相关配置ip，hostname） 41
f、 配置hadoop-env.sh文件 41 - 安装 Mysql 44
(1) 从新创建/克隆一个虚拟机（参照上文虚拟机克隆或者创建） 44
(2) 安装mysql 44
i. 更改密码 45
j. 设置所有机器访问mysql权限 45
a. 查看mysql有关依赖： 45
b. 删除原有mysql依赖： 45
c. 安装mysql客户端： 46
d. 安装mysql服务端： 46
e. 查询mysql的服务状态： 46
f. 启动mysql服务： 46
g. 设置开机自启mysql 46
h. 进入mysql 46
i. 更改密码 46
j. 设置所有机器访问myql权限 46
1.1. 安装 Hive(注:Hive只需在一个节点上安装) 46
(1) Hive和hadoop关系 46
(2) 将压缩文件进行解压 46
(3) 将hive解压包移到/usr/house/hive下 47
(4) 设置hive的环境变量 47
(5) 配置hive-site.xml文件 47
(6) 配置hive-env.sh文件 47
(7) Mysql可以创建单独的hive用户(安装mysql的节点上操作) 47
(8) 验证（启动hive服务时要先启动hadoop服务） 48 - 安装 Hbase(伪分布式单节点安装) 48
(1) 解压hbase安装包 （/opt） 48
(2) 将hbase解压包移到/usr/house/hbase下 48
(3) 配置hbase-env.sh文件添加如下 48
(4) 配置hbase-site.xml文件 49
(5) 配置regionserver文件 49
(6) 将hbase拷贝到2,3号机器（/usr/house/hbase） 49
(7) 验证（启动hbase服务在HMaster所在机器操作） 49 - 安装 Storm（三节点安装） 51
(1) 解压storm安装包（/opt） 51
(2) 将storm解压包移到/usr/house/storm 51
(3) 新建storm文本存储路径 51
(4) 配置storm.yaml配置文件 51
(5) 将storm复制到其他机器上（/usr/house/storm/） 52
(6) 验证（启动storm服务） 52 - 安装 Spark（三节点安装） 52
(1) 解压spark安装包 （/opt） 52
(2) 将spark解压包移到/usr/house/spark 53
(3) 配置spark配置文件 53
(4) 将spark安装包拷贝到2,3号机（usr/house/spark） 53
(5) 启动spark服务（HA） 53 - 安装 Redis（单节点安装） 54
- 1.安装curl 56
- 安装RVM 56
- 查看rvm库中已知的ruby版本 56
- 安装一个ruby版本（可离线安装） 56
- 查看Ruby版本 57
- 安装Redis库 57
- 安装 Elasticsearch（三节点安装） 58
a、创建elasticsearch用户 58
b、为elasticsearch设置密码 58
c、创建一个用户组 es 58 - 安装 Azkaban （单节点安装） 60
(1) 解压azkaban安装包（/opt） 60
(2) 将azkaban解压包移到/usr/house/azkaban 60
(3) 配置mysql数据库(mysql.icccuat机器上) 60
(4) 配置azkaban文件 61
(5) 将conf 和plugins下的文件传输到exec-server同等目录下 63
(6) 启动web-server 63
(7) 启动 exec-server 63 - 安装sqoop（单节点安装） 63
- Kafka安装（三节点安装） 64
5：开启consumer消费者（三台机子上都可以） 65
6：关闭kafka 65 - Flume安装（单节点安装） 66
(1) 解压flume安装包（/opt） 66
(2) 将flume解压包移到/usr/house/flume 66
(3) 配置环境变量 66
(4) 验证flume（查看flume版本） 66 - rocketMQ安装（单master安装单节点） 66
（1） Maven安装 66
（2） 安装rocketMQ 66
一、软件安装目录及版本信息：
1.软件安装目录及版本信息：
1.1Jdk：jdk1.8.0_131
下载地址：
http://www.oracle.com/technetwork/java/javase/downloads/index.html
1.2Hadoop：hadoop-2.8.2
下载地址：
https://archive.apache.org/dist/hadoop/common/
1.3mysql：5.5.47
下载地址：
https://download.csdn.net/download/zmc921/9930540
1.4Flume：apache-flume-1.6.0-bin
下载地址：
https://www.apache.org/dist/flume/1.6.0/
1.5Storm：apache-storm-1.1.3
下载地址：
http://storm.apache.org/downloads.html
1.6Hbase：hbase-1.2.6
下载地址：
http://archive.apache.org/dist/hbase/1.2.6/
1.7Hive：apache-hive-1.2.0-bin
下载地址：
http://archive.apache.org/dist/hive/
1.8Redis：redis-4.0.12
1.9Spark：spark-2.3.0-bin-hadoop2.6
下载地址：
http://archive.apache.org/dist/spark/spark-2.3.0/
1.10Elasticsearch：elasticsearch-6.3.2
下载地址：
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-3-2
1.11 Azkaban：azkaban-db-0.1.0-SNAPSHOT
azkaban-exec-server-0.1.0-SNAPSHOT azkaban-solo-server-0.1.0-SNAPSHOT
azkaban-web-server-0.1.0-SNAPSHOT
1.11Zookeeper：zookeeper-3.4.7
下载地址：
http://archive.apache.org/dist/zookeeper/
1.12sqoop：sqoop-1.4.7.bin__hadoop-2.6.0
下载地址：
http://mirror.klaus-uwe.me/apache/sqoop/1.4.7/
1.13kafka：kafka_2.11-0.10.2.1
下载地址：
http://kafka.apache.org/downloads
1.14rocketMQ：alibaba-rocketmq-3.2.6-alibaba-rocketmq
二、安装VMware 虚拟机(centos6,cntos7)
虚拟机：VMware workstation11
Linux系统：CentOS-6.5-x86_64-bin-DVD1.iso
选择 新建虚拟机
选择 自定义
选择 稍后安装操作系统
选择 linux Centos64位
选定存储地址
Cpu颗数
默认内存1g
选择仅主机模式磁盘50G（自行分配）
完成
编辑虚拟机设置
选择ISO镜像文件（CentOS-7-x86_64-DVD.iso,CentOS-6.5-x86_64-bin-DVD1.iso）选其一
开机
选 第一个
Skip跳过下一步
英语
英语
选择基础存储设备
不保存任何数据
主机名称 默认
时区 选 亚洲 上海
Root 管理员密码
选择自定义磁盘
创建boot分区 一般300Mb
创建swap分区 一般是内存的2倍创建/ 根分区
格式化硬盘
下一步
桌面即可
可以自定义安装包
在语言上 选中中文支持
重启
同意
继续
完成
登录
完成