Spark Driver与Executor
Driver创建sparkContext对象,初始化程序,分发计算给Executor。
所有RDD算子的计算功能全部由Executor来执行。
如果计算部分有对象,该对象需要序列化,才能在网络中传输。
变量在driver中声明,算子中的计算逻辑需要分发给executor来执行。
Driver创建sparkContext对象,初始化程序,分发计算给Executor。
所有RDD算子的计算功能全部由Executor来执行。
如果计算部分有对象,该对象需要序列化,才能在网络中传输。
变量在driver中声明,算子中的计算逻辑需要分发给executor来执行。