kafka 集群部署

1、Kafka 初体验
单机 Kafka 试玩
官网网址：http://kafka.apache.org/quickstart
中文官网：http://kafka.apachecn.org/quickstart.html

2、集群部署的基本流程总结
1、下载安装包
2、解压安装包到对应的目录
3、修改配置文件
4、分发安装包
5、启动集群，进行验证

3、集群部署的基础环境准备
1、安装 JDK 1.8
2、安装 zookeeper 集群（也可以使用自带 ZooKeeper）

4、Kafka 集群详细安装
1、下载安装包
在 windows 平台，从官网下载：http://mirrors.hust.edu.cn/apache/kafka/1.1.0/
在 centos 平台：wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
2、解压安装包到对应的目录
[[email protected] ~]$ tar -zxvf kafka_2.11-1.1.0.tgz -C apps/
3、修改配置文件
[[email protected] ~]$ cd /home/hadoop/apps/kafka_2.11-1.1.0/config
[[email protected] config]$ vi server.properties
修改以下内容：
broker.id=5 ## 当前集群中的每个 broker 节点的一个唯一编号，每个节点都不一样

listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://hadoop05:9092
host.name=hadoop05 ## 每个节点指定为当前主机名，上面也是

log.dirs=/home/hadoop/data/kafka-logs ## kafka 的 broker 工作节点数据存储目录
num.partitions=1 ## kafka 的 topic 的默认分区数

log.retention.hours=168 ## 日志的最长保存时间

zookeeper.connect=hadoop02:2181,hadoop03:2181,hadoop04:2181 ## zookeeper 地址

4、分发安装包
[[email protected] apps]$ scp -r kafka_2.11-1.1.0/ hadoop02:$PWD [[email protected] apps]$PWD[hadoop@hadoop05apps] scp -r kafka_2.11-1.1.0/ hadoop03:$PWD [[email protected] apps]$PWD[hadoop@hadoop05apps] scp -r kafka_2.11-1.1.0/ hadoop04:$PWD 千万注意：要修改$PWD千万注意：要修改KAFKA_HOME/config/server.properties 文件中的对应 broker 节点的信息
主要是以下三个：
broker.id=your broker id
host.name=your broker hostname
advertised.listeners=PLAINTEXT:// your broker hostname:9092
5、配置环境变量
vim ~/.bashrc
增加以下内容：
export KAFKA_HOME=/home/hadoop/apps/kafka_2.11-1.1.0
export PATH=$PATH:$PATH:KAFKA_HOME/bin
保存退出
然后执行命令时生效：source ~/.bashrc
6、启动集群，进行验证
启动命令：
nohup kafka-server-start.sh
/home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties
1>~/logs/kafka_std.log
2>~/logs/kafka_err.log &
千万注意：先启动 zookeeper 集群