kafka集群管理重要操作指令运维兵书-kafka 商业环境实战

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。版权声明：本套Spark商业应用实战归作者（秦凯新）所有，禁止转载，欢迎学习。

• kafka 商业环境实战-kafka生产环境规划
• kafka 商业环境实战-kafka生产者和消费者吞吐量测试
• kafka 商业环境实战-kafka生产者Producer参数设置及参数调优建议
• kafka 商业环境实战-kafka集群管理重要操作指令运维兵书

1 kafka数据分发测试指令

2 kafka启动指令

3 Kafka 版本0.10指令汇总

3 Kafka 测试指令汇总

上面命令中比较关键的参数包括：

• –num-records： 指定这次测试要发送的总消息数。笔者建议每次执行kafka-producer-perf-test脚本至少要跑够5分钟的时间，这样得出的测试结果才比较准确，因此这个参数最好设置大一些
• –record-size：模拟消息的大小。这个参数最好和你生产环境中的平均消息大小保持一致，这样测试结果才能更准确地反映实际使用场景。假设你的业务中消息的平均大小是1MB，那么设置成该参数为1024就可以了。
• –throughput：吞吐量上限阈值。如果没有TPS的限制，设置成-1就可以了。这里也是同样的原则：和你真实业务场景中的TPS目标保持一致。如果没有明确的预期，可以先设置成-1看下当前能够达到的最大TPS是多少。
• –compression.type：设置消息压缩类型。生产环境中应该没有不启动压缩的吧？根据笔者的经验，目前Kafka与LZ4的组合效果最好，可以应用到生产环境。另外，Kafka社区已经在考虑加入对ZStandard的支持。ZStandard是Facebook开源的压缩算法，据称完胜目前其他所有压缩算法，让我们拭目以待吧。

4 总结

本节内容主要探讨了kafka集群管理重要操作指令运维，可能部分截图来自github公开源码，部分是我的测试案例，如有雷同某位大神私有内容，请直接留言于我，我来重新修正案例。

秦凯新 于深圳