火花网UI中的配色方案
问题描述:
蓝色区域代表什么?我可以理解绿色区域代表计算时间。从传说开始,蓝色区域应该表示调度程序延迟。但是,由于执行程序时间的调度延迟可以忽略不计,所以这些数字不匹配。那么,它意味着什么? 火花网UI中的配色方案
答
调度程序是构建阶段和任务的DAG并与集群进行交互以便以最有效的方式分发它们的主集群的一部分。调度程序延迟是将任务运送到执行程序并将结果返回所需时间的开销。
这是它是如何在最近一段时间branch计算:
private[ui] def getSchedulerDelay(
info: TaskInfo, metrics: TaskMetricsUIData, currentTime: Long): Long = {
if (info.finished) {
val totalExecutionTime = info.finishTime - info.launchTime
val executorOverhead = (metrics.executorDeserializeTime +
metrics.resultSerializationTime)
math.max(
0,
totalExecutionTime - metrics.executorRunTime - executorOverhead -
getGettingResultTime(info, currentTime))
} else {
// The task is still running and the metrics like executorRunTime are not available.
0L
}
}