对Spark中Broadcast的理解
用Broadcast广播的变量是只读变量,可以有效的保持数据的一致性。
Broadcast的Storage Level是MEMORY_AND_DISK方式,所以不会造成内存溢出。
Broadcast广播的变量只会在Executor中保存一份,同一个Executor中所有task共享该变量,可以有效的减少内存的开销。
用Broadcast广播的变量是只读变量,可以有效的保持数据的一致性。
Broadcast的Storage Level是MEMORY_AND_DISK方式,所以不会造成内存溢出。
Broadcast广播的变量只会在Executor中保存一份,同一个Executor中所有task共享该变量,可以有效的减少内存的开销。