Kafka安装部署

      前提：jdk 需要安装部署，zookeeper安装好，并能正常启动

        启动kafka之前，必须先启动zookeeper

        一件启动zookeeper的脚本为

        cd /export/servers/zookeeper-3.4.5-cdh5.14.0/

         sh zkstart.sh

       

      每个节点的zookeeper启动成功

 

一：kafka软件包上传，并解压     

 tar zxvf kafka_2.11-1.0.0.tgz  -C ../servers/

 

二：修改配置文件

           修改config/server.properties文件

修改broker.id=1

log.dirs=/export/servers/kafka_2.11-1.0.0/logs

zookeeper.connect=node01:2181,node02:2181,node03:2181

delete.topic.enable=true

host.name=node01

 

 

三：同步到集群的其他节点（其他节点修改配置）

scp -r kafka_2.11-1.0.0 node02:/$PWD

scp -r kafka_2.11-1.0.0 node03:/$PWD

 

四：启动kafka

          a）启动zookeeper

          zkstart.sh（自己编写的一键启动）   

   若没有启动则启动，如果没有一键启动就一个一个启动    zkServer.sh start

 

          b）启动kafka

               逐个启动

              node01 :  nohup bin/kafka-server-start.sh  config/server.properties &

               node02:  nohup bin/kafka-server-start.sh  config/server.properties &

               node03:  nohup bin/kafka-server-start.sh  config/server.properties &

或者使用一键启动脚本启动   sh  kafkastart.sh

 

 

Kafka初体验

创建一个主题,Topic

bin/kafka-topics.sh    --zookeeper  node01:2181,node02:2181,node03:2181 --create --replication-factor 2 --partitions 3 --topic  18BD12

创建成功

查看创建的topic

bin/kafka-topics.sh  --list    --zookeeper  node01:2181,node02:2181,node03:2181

模拟生产者生产数据

bin/kafka-console-producer.sh  --broker-list node01:9092,node02:9092,node03:9092  --topic 18BD12

--broker-list  指的是存储数据的kafka节点

模拟消费者消费数据

bin/kafka-console-consumer.sh  --topic 18BD12  --zookeeper node01:2181,node02:2181,node03:2181    --from-beginning

--from-beginning  消费者在二次以后的启动中，在哪个位置开始消费

  --zookeeper  记录消费者消费到了哪条数据，记录的是偏移量（offset），每条数据都有与一个偏移量。

 

zooker记录了消费者，消费到哪了