Kafka集群搭建

前言：kafka作为一个消息中间件，由linkedin使用scala编写，用作LinkedIn的活动流，和运营数据处理管道的基础，其特点在于具有高水平扩展也就是动态扩容和高吞吐量。

四大重要概念：

Topic

Kafka将消息种子(Feed)分门别类，每一类的消息称之为一个主题(Topic).

Broker

已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker). 消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。

Producer

发布消息的对象称之为主题生产者(Kafka topic producer)

Consumer

订阅消息并处理发布的消息的种子的对象称之为主题消费者(consumers)

特点：

kafka作为一个集群运行在一个或多个服务器上。
kafka集群存储的消息是以topic为类别记录的。
每条记录是由一个key，一个value和时间戳构成。
应用程序使用 Producer API 发布消息到1个或多个topic（主题）。
应用程序使用 Consumer API 来订阅一个或多个topic，并处理产生的消息。
应用程序使用 Streams API 充当一个流处理器，从1个或多个topic消费输入流，并生产一个输出流到1个或多个输出topic，有效地将输入流转换到输出流。
Connector API允许构建或运行可重复使用的生产者或消费者，将topic连接到现有的应用程序或数据系统。例如，一个关系数据库的连接器可捕获每一个变化。

下面就开始介绍kafka集群的搭建。

一、环境准备

三台虚拟机（master、worker1、worker2）

jdk 1.7.x以上

zookeeper集群（之前搭建过https://blog.****.net/yangang1223/article/details/79959712）

kafka有自带的zookeeper，但建议使用自己的zookeeper集群

二、开始搭建

1.编辑config下的server.properties

[[email protected] config]$ vim server.properties

broker.id=0

listeners=PLAINTEXT://:9092

host.name=master

port=9092

log.dirs=/app/kafka/kafka_2.10-0.9.0.0/kafka-logs
advertised.host.name=master

保存后退出

2.为了方便启动，你也可以在环境变量中添加kafka的bin目录

[[email protected] app]$ vim ~/.bash_profile

export JAVA_HOME=/app/java/jdk1.8.0_141
export HADOOP_HOME=/app/hadoop/hadoop-2.7.3
export SCALA_HOME=/app/scala/scala-2.11.8
export SPARK_HOME=/app/spark/spark-2.1.1
export ZOOKEEPER_HOME=/app/zookeeper/zookeeper-3.4.6
export KAFKA_HOME=/app/kafka/kafka_2.10-0.9.0.0
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin
export PATH

Kafka集群搭建

scp命令将其分发到其他两个节点，并source

[[email protected] app]$ scp ~/.bash_profile [email protected]:~/
.bash_profile 100% 579 0.6KB/s 00:00
[[email protected] app]$ scp ~/.bash_profile [email protected]:~/

.bash_profile

3.进入worker1、worker2节点的kafka/config目录下编辑server.properties

将broker.id依次改为1,2

将host.name、advertised.host.name都改为各自机器的ip

三、启动kafka集群

1. 三台机器启动kafka

使用此命令启动[[email protected] bin]$ kafka-server-start.sh -daemon ../config/server.properties &后发现创建topic时出现错误

Kafka集群搭建

目前尚不知原因，遂用下面的方式启动。

[[email protected] bin]$ kafka-server-start.sh ../config/server.properties &

2.创建topic

[[email protected] bin]$ ./kafka-topics.sh --zookeeper master:2181,worker1:2181,worker2:2181 --replication-factor 2 --partitions 1 --create --topic first-topic

Kafka集群搭建