如何测量Spark Standalone集群中节点之间的通信？

Question

我使用Spark Standalone Cluster，我想知道多少信息节点相互发送。我怎么测量它？

Answer 1

您可能需要使用像zabbix这样的完整监控系统来收集所有节点的信息。

另外，如果您对节点之间发送数据的事实感兴趣，则可以查看驱动程序的UI（通常位于4040端口）。检查每个任务的本地化级别，如果您找到“ANY”，则表示可能在工作节点之间传输数据。

Answer 2

你可以监视像ganglia和nagios那样的工具。我个人认为我去神经节。