Spark 内核解析

Spark 已经成为大数据处理中的必备技术,经过多年的发展它再也不是新技术,那么只是掌握开发中的 API 远远不能满足要求,本场 Chat 就是带领你迈向 Spark 更深层次的领域--内核解析,我们的目标是:怒怼面试官!

在本场 Chat 中,会讲到如下内容:

  • Spark 核心组件 Driver、Executor 及运行流程
  • Spark部署模式
    1. Standalone模式运行机制
    2. YARN模式运行机制
  • Spark 通讯架构
    1. 通讯架构概述
    2. 通讯架构解析
  • Spark 任务调度机制
    1. 任务提交流程
    2. 任务调度概述
    3. Stage和Task级别调度
  • Spark Shuffle解析
    1. Shuffle的核心要点
    2. HashShuffle解析
    3. SortShuffle解析
  • Spark 内存管理
    1. 堆内/堆外内存规划
    2. 内存空间分配
    3. 存储内存管理
    4. 执行内存管理
  • Spark核心组件解析
    1. BlockManager数据存储与管理机制
    2. Spark共享变量底层实现

适合人群: 对深入理解 Spark 内核有兴趣的技术人员

阅读全文: http://gitbook.cn/gitchat/activity/5dc4fbab7163b84a43d15028

您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。

Spark 内核解析