深入浅出Spark2.1.0度量系统——Source继承体系
阅读提示：阅读本文前，最好请阅读《Spark2.1.0——深入浅出度量系统》一文。
任何监控都离不开度量数据的采集，离线的数据采集很容易做到和被采集模块之间的解耦，但是对于实时度量数据，尤其是那些内存中数据的采集就很难解耦。这就类似于网页监控数据的埋点一样，你要在网页中加入一段额外的js代码（例如Google分析，即便你只是引入一个js文件，这很难让前端工程师感到开心）。还有一类监控，比如在Java Web中增加一个负责监控的Servlet或者一个基于Spring3.0的拦截器，这种方式虽然将耦合度从代码级别降低到配置级别，但却无法有效的对内存中的数据结构进行监控。Spark的度量系统对系统功能来说是在代码层面耦合的，这种牺牲对于能够换取对实时的、处于内存中的数据进行更有效的监控是值得的。
Spark将度量来源抽象为Source，其定义见代码清单1。
代码清单1 度量源的定义
private[spark] trait Source {
def sourceName: String
def metricRegistry: MetricRegistry
}
从代码清单1，可以看到Source是一个特质，其中定义了两个方法：
- sourceName：度量源的名称；
- metricRegistry：当前度量源的注册表。MetricRegistry是Metrics库提供的API，在《附录D Metrics简介》中有更详细的介绍。
Spark中有很多Source的具体实现，可以通过图1来了解。
为了说明Source该如何实现，我们选择ApplicationSource（也是因为其实现简单明了，足以说明问题）为例，其实现见代码清单2。
代码清单2 ApplicationSource的实现
private[master] class ApplicationSource(val application: ApplicationInfo) extends Source {
override val metricRegistry = new MetricRegistry()
override val sourceName = "%s.%s.%s".format("application", application.desc.name,
System.currentTimeMillis())
metricRegistry.register(MetricRegistry.name("status"), new Gauge[String] {
override def getValue: String = application.state.toString
})
metricRegistry.register(MetricRegistry.name("runtime_ms"), new Gauge[Long] {
override def getValue: Long = application.duration
})
metricRegistry.register(MetricRegistry.name("cores"), new Gauge[Int] {
override def getValue: Int = application.coresGranted
})
}
望文生义，ApplicationSource用于采集Spark应用程序相关的度量。代码清单2中ApplicationSource重载了metricRegistry和sourceName，并且向自身的注册表注册了status（即应用状态，包括：WAITING, RUNNING, FINISHED, FAILED, KILLED, UNKNOWN）、runtime_ms（运行持续时长）、cores（授权的内核数）等度量。这三个度量的取值分别来自于ApplicationInfo的state、duration和coresGranted三个属性。这三个度量都由Gauge的匿名内部类实现，Gauge是Metrics提供的用于估计度量值的特质。有关Gauge、MetricRegistry、MetricRegistry注册度量的方法register及命名方法name的更详细介绍请阅读《附录D Metrics简介》。
关于《Spark内核设计的艺术 架构设计与实现》
经过近一年的准备，《Spark内核设计的艺术 架构设计与实现》一书现已出版发行，图书如图：
纸质版售卖链接如下：