如何测量Spark GraphX应用程序的执行时间？

Question

什么是使用Graphx查找程序的总执行时间的最可靠方式，最好是使用历史记录服务器还是使用System.currentTimeMillis()或其他程序中的程序使用变量？

Answer 1

测量Spark GraphX应用程序的执行时间与测量任何其他Spark应用程序的性能没有区别。

我强烈建议在Spark应用程序启动并运行时使用Web UI，然后再启动Spark History Server。

您还可以使用SparkListener构建类似于Web UI的东西（毕竟Web UI只是一堆SparkListeners）。

System.currentTimeMillis()也可以工作，但为什么重新发明*如果几乎所有（如果不是全部？）已经在Spark中可用？