Spark 图解源码系列之:SparkStreaming Receiver是如何接收数据的?
假期不能闲着,水一篇文章,各位看官看过来~
涉及到的几个主要的角色:
-
ReceiverSupervisor
-
ReceiverSupervisorImpl (实现类)
-
Receiver
-
BlockGenerator
- BlockManager
- ReceiverTracker
总体流程大致的说一下:
一切从 流 开始我们以 SocketInputDStream 为例子来讲解
下面的这个图是整个的流程详解:是在是没办法,转为图片6M+超过了可以上传的最大值,只能是截图了,需要完整版本的可以留言我给同学私发