kafka分区数量的判定

ps:越努力越幸运。

 

你要思考一些一些问题,决定吞吐量的因素有哪些?

第一点: 数据传输的效率肯定是离不开网络的。
第二点: 就越是你数据的产生的速度,如果网络足够了,但是数据产生的速度不够也依旧达不到瓶颈。

第三点: 就是你需要达到什么样的效率,这个时候就要将网络性能是否满足你的需求做一个详细的评估了。这就叫做量力而行嘛, 你网络不够还非要要求那么高那就尴尬了。想让马儿跑,不给马儿吃草是不行滴。

上面两个问题只是让你简单的思考一些,接下来步入正题。

确定好kafka的分区的数量,首先和你的业务需要的吞吐量有关,比如说生产者发送数据的效率是p=40m/s  消费者美妙接受的效率是每秒钟c=30m/s 
而我们的业务场景要求每秒钟达到1Gb/s  那么这个时候需要的分区就是  1Gb/max{p,c}

 

kafka分区数量的判定