kafka分布式部署实践

准备工作:准备三台虚拟机,分别下载kafka,跟zookeeper(注意zookeeper版本选择最好跟kafka对应,可以去kafka/lib/查看自带的zk的版本,然后去下载对应的版本号),我的版本分别使用的是kafka_2.10-0.10.2.1,zookeeper-3.4.9。

  • 先部署zk

    1. 解压zk,并创建一个文件夹存放数据。
      kafka分布式部署实践
    2. 修改/zookeeper-3.4.9/conf下的zoo.cfg文件
      kafka分布式部署实践
    3. 修改一下日志输出的位置,修改zookeeper-3.4.9/bin/zkEnv.sh,以及zookeeper-3.4.9/conf下的log4j.properties
      kafka分布式部署实践
      kafka分布式部署实践
    4. 在你开始创建的文件夹里面创建myid文件并写入你的zk的id数值
    5. 启动zk
      kafka分布式部署实践
    6. 其他机器是同样的步骤进行配置
  • 部署kafka

    1. 解压kafka,并创建一个存放数据的文件夹
      kafka分布式部署实践
      2.修改kafka/config/server.properties
      kafka分布式部署实践
      kafka分布式部署实践
      3.启动kafka
      kafka分布式部署实践
      4.其他机器也是同样的步骤

分布式部署kafka完毕,可以进行produce跟consume了