kafka集群环境搭建
1. 环境准备
（1）安装文件 kafka_2.11-1.0.0.tgz zookeeper-3.4.11.tar.gz， java jdk 1.8
（2）3个节点，centos 7 , ip 分别为10.119.119.145、10.119.119.146、10.119.119.147
（3）iptables防火墙配置
2. zookeeper集群安装及配置
（1） 创建目录 zookeeper、 zookeeper/log、/data/zookeeper/
# mkdir -p /opt/zookeeper /opt/zookeeper/log /data/zookeeper/
（2）分别在3个节点解压zookeeper-3.4.11.tar.gz到/opt/zookeeper
# tar -zxvf zookeeper-3.4.11.tar.gz
（3）分别在3个节点编辑配置文件zoo.cfg、设置zookeeper的id，并保存
# vim /opt/zookeeper/zookeeper-3.4.11/conf/zoo.cfg
#10.119.119.145 在zookeeper 中id是1 执行下面
# echo 1 > /data/zookeeper/myid
#10.119.119.146 在zookeeper 中id是2 执行下面
# echo 2 > /data/zookeeper/myid
#10.119.119.147 在zookeeper 中id是3 执行下面
# echo 3 > /data/zookeeper/myid
（4）防火墙开放端口
# vim /etc/sysconfig/iptables
（5）启动zookeeper
# /opt/zookeeper/zookeeper-3.4.11/bin/zkServer.sh start
（6）查看zookeeper状态
#/opt/zookeeper/zookeeper-3.4.11/bin/zkServer.sh status
3. kafka集群安装及配置
（1） 创建目录 kafka
# mkdir -p /opt/kafka
（2）解压kafka_2.11-1.0.0.tgz 到/opt/kafka
# tar -zxvf kafka_2.11-1.0.0.tgz
（3）编辑配置文件
# vim /opt/kafka/kafka_2.11-1.0.0/config/server.properties
注意：橙色部分，三个节点需要修改成各自的值，broker.id 唯一标识kafka进程，三个节点broker.id 值必须唯一
#配置id
broker.id=1
#broker.id=2
#broker.id=3
listeners=PLAINTEXT://:9092
port=9092
host.name=10.119.119.147
advertised.host.name=10.119.119.147
advertised.port=9092
#配置zookeeper connect
zookeeper.connect=knode1:2181,knode2:2181,knode3:2181
（4）启动kafka集群
# /opt/kafka/kafka_2.11-1.0.0/bin/kafka-server-start.sh -daemon config/server.properties
（5）测试集群
创建topic ethantest, 2分区，2复制
# /opt/kafka/kafka_2.11-1.0.0/bin/kafka-topics.sh --create --zookeeper knode1:2181,knode2:2181,knode3:2181 --replication-factor 2 --partitions 2 --topic ethantest
查看topic ethantest
# /bin/kafka-topics.sh --describe --zookeeper knode1:2181,knode2:2181,knode3:2181 --topic ethantest
# /opt/kafka/kafka_2.11-1.0.0/bin/kafka-console-producer.sh --broker-list knode1:9092,knode3:9092 --topic ethantest
可以通过控制台发送一条消息
> hello ethan
# /opt/kafka/kafka_2.11-1.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic ethantest --from-beginning
4. kafka集群安装完毕