zookeeper + kafka 集群的安装部署
消息中间件这种,先不做赘述。安装这个,为了后续写测试代码使用。用 zookeeper 来解决缓存的分布式并发更新的问题(如分布式锁解决)。
kafka 集群是依赖 zookeeper 集群,所以先搭建 zookeeper 集群,再搭建 kafka 集群。zookeeper + kafka 的集群,都至少是三节点。
文件:https://pan.baidu.com/s/1IER6nLWMwijgWW0J-6v8iA u9gi
zookeeper 集群安装
cd /usr/local
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar -zxvf zookeeper-3.4.5.tar.gz
# 重命名zk
mv zookeeper-3.4.5 zk
# 配置环境变量,原来 .bashrc 才是环境变量的配置处
vi ~/.bashrc
# 内容新增
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$PATH:$ZOOKEEPER_HOME/bin
# 刷新环境变量配置
source ~/.bashrc
# 修改配置文件
cd /usr/local/zk/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
# 涉及到的内容如下
dataDir=/usr/local/zk/data
server.0=eshop-cache01:2888:3888
server.1=eshop-cache02:2888:3888
server.2=eshop-cache03:2888:3888
# data
mkdir /usr/local/zk/data
# 编辑集群 id,给一个 0,从 0 开始起
# vi 一个不存在的文件,保存后就存在了
cd /usr/local/zk/data
vi myid
一台搞定之后,使用 scp 命令把环境变量和 zookper 复制到 02 和 03 上,记得复制过去后配置环境变量
# scp --help 中查看支持同时 scp 到多个机器,但是这里尝试一部分成功,一部分失败,所以分开
scp ~/.bashrc [email protected]:~/
scp ~/.bashrc [email protected]:~/
scp -r /usr/local/zookeeper-3.4.5 [email protected]:/usr/local
scp -r /usr/local/zookeeper-3.4.5 [email protected]:/usr/local
复制之后,需要修改的地方有:myid ,分别修改为 1 和 2,唯一即可。zookper 启动与检查;三台机器都执行操作:
# 由于之前配置了环境变量,这里可以任意目录执行
zkServer.sh start
# 检查 ZooKeeper 状态:一个 leader,两个 follower
zkServer.sh status
# jps:检查三个节点是否都有 QuromPeerMain 进程
jps
如下,一个loader 两个follower
scala 安装
#将kafka_2.9.2-0.8.1.tgz使用拷贝到/usr/local目录下。
#对kafka_2.9.2-0.8.1.tgz进行解压缩:
tar -zxvf kafka_2.9.2-0.8.1.tgz。
#对kafka目录进行改名:
mv kafka_2.9.2-0.8.1 kafka
# 配置环境变量,原来 .bashrc 才是环境变量的配置处
vi ~/.bashrc
# 内容新增
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
# 刷新环境变量配置
source ~/.bashrc
# 查看是否已经配置好
scala -version
记得复制过去后配置环境变量
scp ~/.bashrc [email protected]:~/
scp ~/.bashrc [email protected]:~/
scp -r /usr/local/scala-2.11.12 [email protected]:/usr/local/
scp -r /usr/local/scala-2.11.12 [email protected]:/usr/local/
kafka 集群
#将kafka_2.9.2-0.8.1.tgz拷贝到/usr/local目录下。
#对kafka_2.9.2-0.8.1.tgz进行解压缩:
tar -zxvf kafka_2.9.2-0.8.1.tgz。
#对kafka目录进行改名:
mv kafka_2.9.2-0.8.1 kafka
配置kafka
vi /usr/local/kafka/config/server.properties
broker.id:依次增长的整数,0、1、2,集群中Broker的唯一id,复制过后每台都要配置。
zookeeper.connect=192.168.1.5:2181,192.168.1.6:2181,192.168.1.7:2181
安装slf4j
#将slf4j-1.7.6.zip上传到/usr/local目录下
unzip slf4j-1.7.6.zip
#把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面
#解决kafka Unrecognized VM option 'UseCompressedOops'问题
vi /usr/local/kafka/bin/kafka-run-class.sh
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi
去掉-XX:+UseCompressedOops即可。
#进入目录启动kafka
cd /usr/local/kafka
nohup bin/kafka-server-start.sh config/server.properties &
# 查看是否启动是否报错
cat nohup.out
单机启动没有问题后,可以按照之前的方法把环境变量和 kafka 目录 copy 到另外两台机器
scp ~/.bashrc [email protected]:~/
scp ~/.bashrc [email protected]:~/
scp -r /usr/local/kafka_2.9.2-0.8.1.1 [email protected]:/usr/local/
scp -r /usr/local/kafka_2.9.2-0.8.1.1 [email protected]:/usr/local/
# 记得修改每台机器的 broker.id 。修改之后才能启动成功
# 创建测试的 topic,名称为 testMessage
bin/kafka-topics.sh --zookeeper 192.168.1.5:2181,192.168.1.6:2181,192.168.1.7:2181 --topic testMessage --replication-factor 1 --partitions 1 --create
# 创建一个生产者
bin/kafka-console-producer.sh --broker-list 192.168.1.5:9092,192.168.1.6:9092,192.168.1.7:9092 --topic testMessage
# 创建一个消费者
bin/kafka-console-consumer.sh --zookeeper 192.168.1.5:2181,192.168.1.6:2181,192.168.1.7:2181 --topic testMessage --from-beginning
//查看topic
bin/kafka-topics.sh --zookeeper 192.168.1.5:2181 --list
//有可能虚拟机跟本机连不上的问题。改了host后重启
C:\Windows\System32\drivers\etc\hosts