【Storm一】Storm概念入门
-
什么是Storm
-
Storm的基本术语
-
Storm组件协作图
-
Storm消息机制
什么是Storm
Storm用于流式计算和实时计算,简称实时流计算。实时流计算的三种常见场景:事件流、持续计算和分布式远程方法调用。流式计算框架如Storm关注于数据多次处理,一次写入;是批处理计算框架如Hadoop关注于数据一次写入,多次查询统计以提取有用信息。
The input stream of a Storm cluster is handled by a component called a spout. The spout passes the data to a component called a bolt, which transforms it in some way. A bolt either persists the data in some sort of storage, or passes it to some other bolt. You can imagine a Storm cluster as a chain of bolt components that each make some kind of transformation on the data exposed by the spout.
- Storm与Hadoop 1.x的角色对比
Storm基本术语
- Toplogy
Toplogy是Storm中运行的一个任务,类比Hadoop1.x中的一个作业(Job)
- Nimbus
Nimbus在Storm中用于资源分配和作业调度,类比Hadoop1.x中的JobTracker
- Supervisor
Supervisor在Storm中用于接受Nimbus分配的任务,并且启动和停止用于完成这些任务的Worker进程。Supervisor类比Hadoop1.x中的TaskTracker
- Worker
运行Storm中具体组件逻辑的进程。这里的组件指的是Spout或者Bolt,对比Hadoop1.x的Child进程
- Task
Worker进程中每个运行Spout或者Bolt组件逻辑的线程称为Task
- Spout
在一个Toplogy中产生源数据流的组件
- Bolt
在一个Toplogy中接受数据,并进行逻辑处理的组件,称为Transformation
- Tuple
一次消息传递的基本单元
- Stream Grouping
消息分组的方法
Storm作业协作图
可见,Storm是一个典型的Master/Workers架构。Nimbus和Supervisors构成一组Master/Workers架构,Supervisor和Workers构成一组Master/Workers架构。
从上面的图中可以看到,Bolts之间是一种流式的计算,一份数据在多个Bolt之间进行处理转换,每种类型的Bolt可以是一个集群,因此,这种架构的可扩展性是天然的。
Storm的消息机制
如上图所示,Spout和Bolt之间,多个Bolt之间,有数据的传输,Storm底层是ZeroMQ作为消息队列的管理,Storm保证消息能够快速的被消费(性能),同时保证消息能够被消费(可靠性)
参考:http://wenku.baidu.com/view/3b695d5c7fd5360cba1adbf3.html