【一】storm理论+数据分组策略
目录:
一、storm的技术网站
二、简介
三、storm和hadoop的比较
四、storm和spark streaming的比较
五、storm核心概念
六、storm架构
七、容错性
八、ack和fail机制
正文:
一、storm的技术网站:
官网:http://storm.apache.org/
官网可以订阅邮件
Github: github.com/apache/storm
wiki: https://en.wikipedia.org/wiki/Storm_(event_processor)
二、简介
诞生于backtype,被twitter收购,后在apache开源。
storm是一个免费、开源、分布式的实时计算系统。它可靠的处理*数据流。
常用于:实时分析、在线机器学习、持续计算、分布式RPC、ETL等等。
特点:快、可扩展、容错性、保证数据都能够被处理
它能集成常用消息队列和数据库,实现高频、大规模数据的实时处理。
三、storm和hadoop的比较
处理领域:hadoop是做离线批处理的,数据存放在HDFS之上。storm是做实时处理的,延时性很低。
处理过程:hadoop通常一个作业是拆分成map和reduce来处理的。storm是由spout(数据源)、bolt(业务逻辑)组成最终通过一个拓扑图拼起来。
进程是否结束:hadoop和spark的离线作业处理,都是在启动的时候去申请资源,作业跑完后资源会释放。进程要结束。storm没有结束状态,进程和作业一直不会停。
四、storm和spark streaming的比较
spark streaming是小批处理,近似于实时。storm是实时的。
五、storm核心概念
http://storm.apache.org/releases/1.1.2/Concepts.html
1.Topology 计算拓扑,将整个流程串起来,调度。实时应用程序的逻辑会被打包成一个Topology。一个storm的Topology和mapreduce的job有些类似,不同之处在于mapreduce的作业最终是要完成的(进程结束),但是storm的Topology会一直运行(进程不结束)。它是一个有向无环图,由被streams groups连接着的spouts和bolts组成。
2.Streams 数据流,抽象概念,由多个无边界、有序的tuple构成。它将被以并行、分布式的方式处理。 Streams are defined with a schema that names the fields in the stream's tuples. By default, tuples can contain integers, longs, shorts, bytes, strings, doubles, floats, booleans, and byte arrays.可以自定义。每个stream会有个ID。
3.Spouts 产生数据(水龙头),在一个Topology中,一个spouts是一个stream的源头。通常情况下spout会从外部数据源读取tuple(数据),然后发射到Topology里去。可以选择可靠或者不可靠。可靠的,能保证数据被处理掉,而且一个数据只处理一次。当处理数据失败的时候,可靠的,可以再回放(重发)一次数据处理。不可靠的,不保证发出去的数据一定会被处理。
Spouts中有三个重要的方法nextTuple、ack、fail。ack、fail保证了数据是否正常被处理,这两个方法不是手工调用的,只有在可靠的中,这两个方法会被storm自动调用。
4.Bolts 处理数据(业务逻辑),可以做过滤、聚会、读写数据库操作。Bolts有一个重要的方法execute。当bolt发送数据给下一个bolt的时候,要调用ack方法让storm知道下游是否正确处理了数据。Bolts中可以启动多线程异步处理数据。
5.Tuple 数据(水),传递的基本单元
6.Stream groupings 数据分组策略,它为每一个Bolt定义stream怎么被接收,怎么分组。自带8种。也可以通过实现CustomStreamingGrouping接口来自定分组策略。官网自定义分组策略介绍
Shuffle grouping:随机处理。保证每个task处理的数据量是相同的。数据会被随机分发到下游Bolt的task中。
Fields grouping:按字段分组,相同字段放到一个task上处理。可能数据倾斜。数据流会根据指定的字段来分区,比如按照userId字段分区,相同的userId会分到相同的task中去处理。
Partial Key grouping:数据流会按照指定的字段分组,和Fields grouping类似,但是它能在下游bolt中负载均衡,当输入数据有数据倾斜的时候能让资源有更好的利用。
All grouping: 每个数据都会发到Bolt所有的task中去。Bolt的每个task收到的是相同的完整的数据。例如数字累加的例子。设置bolt有3个task。spout发1,每个task都能收到1,每个task累加后的值都是1。spout再发2,每个task都能收到2,每个task累加后的值都是3。
Global grouping:所有数据会发到同一个task中处理,默认情况下是task ID最小的那一个。
None grouping:并不关心怎么分组,目前跟Shuffle grouping一样
Direct grouping: 由数据发送者直接指定哪一个task接收数据。只能在声明了direct的流中使用。要用emitDirect发送。
Local or shuffle grouping:当下游Bolt中有task跟上游的task运行在同样的worker中时,那么上游的发出的数据由下游同进程的task处理。否则shuffle grouping跟一样。
7.Reliability 可靠性。storm能够保证每个发射出来的tuple都被完成处理。主要靠emit和ack。
8.Tasks 每一个spout和bolt都是以多任务(task)的方式在集群执行。每一个task对应一个线程的执行(可以调整,调优要用)。
9.Workers Topology执行在一个或者多个工作进程(worker processes)上。每一个工作进程是一个物理的JVM,worker processes会执行Topology里面所有tasks的子集。(假设有10个tasks,起了2个worker进程,相当于每个worker进程处理5个tasks)官方例子,假设有300的并行度,有50个worker,每个worker运行6个tasks。storm会尝试把tasks均有的分发到所有的worker上。
六、storm架构
nimbus 主节点,supervisor 从节点,无状态,他们上面的元数据会存放在zookeeper。可以启动多个worker。可以通过配置来指定一个topology运行在几个worker上。spout、bolt是跑在task上的。
nimbus :集群主节点,负责任务task的指派、分发、资源分配。
supervisor:集群的从节点,负责执行任务的具体部分。启动和停止它自己管理的worker。
worker:运行具体组件(spout、bolt)逻辑的进程。
task:是worker中每一个spout和bolt的线程称为一个task。
executor:spout和bolt可能会共享一个线程。
七、容错性
如果worker挂掉了:supervisor会重启worker。如果worker一直重启失败,并且nimbus检测不到它的心跳,nimbus会计划在其他机器上启动worker。
如果节点挂掉了:该节点上跑的任务会超时,nimbus会在其他机器上面重新启动这些任务。
如果nimbus或者supervisor的进程挂了:这两个进程在设计的时候就支持“快速失败”fail-fast,任何不被期望的状态发生时进程可以自毁。它们本身是没有状态的,所有的状态在zookeeper或者磁盘上。它们挂掉后,会像什么事也没发生那样重启。nimbus和supervisor挂掉了并不影响正在运行的worker。这里和hadoop1.X有点不一样,hadoop1.X中,如果jobtracker挂掉了,正在运行的作业会丢失。
nimbus单点故障时:如果nimbus挂了,worker还是会继续支持。这时就算worker又出故障了,supervisor也会重启worker。然而,没有了nimbus,worker不能被分配到其他机器上了。在1.0.0以后,nimbus是可以做HA的(高可用)。官网HA机制详解
八、ack和fail机制