storm(四) 并行度
概念
worker
- 一个实体机可以运行一个或者多个worker
- 一个worker只能运行一个topology上的部分或全部component
- 一个worker是一个独立的进程
- 在运行过程中可以调整worker的数量
executor
- 一个worker中可以运行多个executor
- 一个executor是一个线程
- 一个executor可以运行一个或者多个task,这些task必须是同一类型
- executor的数量<=task的数量
- 默认情况下一个executor中运行一个task
- executor的数量在topology的运行过程中可以动态调整,storm的并行度调整主要针对的就是executor
task
- 具体操作数据的bolt或者spout
- 在整个topology运行状态中,task的数量是固定的不能改变的
对于并行度的概念,最准确的还是要看官方的:http://storm.apache.org/releases/1.2.2/Understanding-the-parallelism-of-a-Storm-topology.html
并行度调整
调整并行度有几种方法,这里我选择的是直接在代码中进行设置
设置worker
- 关闭acker,将worker进程设置成2
- 由于现在有两个worker,两个executor(见下面截图),所以两个executor被平均分配给了两个worker,在我们这里就是一个生产一个消费(从打印的日志可以看出来)
Config config=new Config();
config.setNumWorkers(2);
config.setNumAckers(0);
StormSubmitter.submitTopology("SumTopology",config,topology);
设置executor
- 默认一个executor对应一个task,这里我设置executor的数量为3,所以task也为3
builder.setBolt("countNum",new SumBolt(),3).shuffleGrouping("createNum");
设置task
- 默认情况下一个executor下只有一个task,但是当设置的task的数量大于executor的时候,一个executor上就可能有多个task
builder.setSpout("createNum",new NumSpout());
builder.setBolt("countNum",new SumBolt(),3)
.setNumTasks(6)
.shuffleGrouping("createNum");
设置acker
- 设置acker的方式在第一个例子中已经示范过,这里就不在演示了
- 不过一般并不建议将acker关闭,这样将无法保证数据的可靠性
动态设置并行度
- 这里我使用的是命令行的方式,至于storm ui的方式没搞懂
- 这里我将worker改成1个,createNum改为2个executor,countNum改为2个executor。注意这里没有调整task
- 所谓的并行调整其实就是重新分配:task所在的executor,executor所在的worker。task是真正做事的bolt、spout。所以如果task数量不够,即使将executor、worker的数量设置的再大也没有用
docker run --link nimbus:nimbus -it --rm storm
storm rebalance SumTopology -n 1 -e createNum=2 -e countNum=2