如何计算在databricks笔记本中的命令单元执行时间

Question

我需要知道在每个笔记本中执行命令单元列表所需的时间。 Databricks显示“执行了几秒钟的命令”。与显示的执行时间类似，我需要捕获执行笔记本中所有命令所需的时间。

Answer 1

我一直在使用下列内容：

val startTime = System.nanoTime 
// your code goes here 
val endTime = System.nanoTime 

val elapsedSeconds = (endTime - startTime)/1e9d 

既然你提到，你是一个新手，不要忘了，星火使用延迟执行，以便时间执行包含转换的单元不是真正的执行时间。一定要包括一个措施来衡量真正的执行时间。