Spark 图解源码系列之:SparkStreaming Receiver是如何接收数据的?

假期不能闲着,水一篇文章,各位看官看过来~

涉及到的几个主要的角色:

  1. ReceiverSupervisor
  2. ReceiverSupervisorImpl (实现类)
  3. Receiver
  4. BlockGenerator
  5. BlockManager
  6. ReceiverTracker

总体流程大致的说一下:

一切从 流 开始我们以   SocketInputDStream 为例子来讲解

Spark 图解源码系列之:SparkStreaming Receiver是如何接收数据的?

下面的这个图是整个的流程详解:是在是没办法,转为图片6M+超过了可以上传的最大值,只能是截图了,需要完整版本的可以留言我给同学私发

 

Spark 图解源码系列之:SparkStreaming Receiver是如何接收数据的?

 Spark 图解源码系列之:SparkStreaming Receiver是如何接收数据的?

Spark 图解源码系列之:SparkStreaming Receiver是如何接收数据的?