Spark处理RDD，分区数和executor的关系
在代码中将RDD进行了hash重分区成56个partition，RDD中包含从HDFS上读取的4亿条记录，每一行记录存为RDD中的一个元素。
所以最终RDD有4亿个元素，56个分区，对应spark程序中56个task，
查看任务时显示如下：
再结合spark的原理图：
部门spark集群共有201个executor，总tasks数为56，每个executor具有3个cores，理论上每个executor可以处理1-4个task（可以有一个排队处理）；
实际处理任务的时候，从201个executor中挑选出了56个executor来处理任务，
每个executor只处理一个task，所以并行度是56；
56个并行度同时往ES的一个Index里写入数据，ES集群共8台，设有8个主分片，
也就是一台数据节点处理一个分片，每个分片处理7个task的数据写入。
如果并行度增大，每个数据节点处理的tasks数过多，会造成集群崩溃宕机，所以在项目初始会进行压测。