SparkStreaming并行度的计算方式和设置（spark官方文档介绍）

这是官网上的截图：

通过网络（例如Kafka，Flume，套接字等）接收数据需要对数据进行反序列化并将其存储在Spark中。如果数据接收成为系统的瓶颈，请考虑并行化数据接收。请注意，每个输入DStream都会创建一个接收器（在工作计算机上运行），该接收器接收单个数据流。因此，可以通过创建多个输入DStream并将其配置为从源接收数据流的不同分区来实现接收多个数据流。例如，可以将接收两个主题数据的单个Kafka输入DStream拆分为两个Kafka输入流，每个输入流仅接收一个主题。这将运行两个接收器，从而允许并行接收数据，从而提高了总体吞吐量。这些多个DStream可以结合在一起以创建单个DStream。然后，可以将应用于单个输入DStream的转换应用于统一流。这样做如下。
应该考虑的另一个参数是接收机的块间隔，该间隔由配置参数确定 spark.streaming.blockInterval。对于大多数接收器，接收到的数据在存储在Spark内存中之前会合并为数据块。每批中的块数确定了将在类似地图的转换中用于处理接收到的数据的任务数。每批接收器中每个接收器的任务数大约为（批处理间隔/块间隔）。例如，200 ms的块间隔将每2秒批处理创建10个任务。如果任务数太少（即少于每台计算机的核心数），那么它将效率低下，因为将不使用所有可用的核心来处理数据。要增加给定批处理间隔的任务数，请减小阻止间隔。但是，建议的块间隔最小值约为50毫秒，在此之下，任务启动开销可能是个问题。
使用多个输入流/接收器接收数据的一种替代方法是显式地对输入数据流进行分区（使用inputStream.repartition()）。在进一步处理之前，这会将接收到的数据批分布在群集中指定数量的计算机上。

SparkStreaming中Partition的数量公式如下：
Partition个数 = BatchInterval / blockInterval
blockInterval的大小不要小于50ms，如果数据太小，那么处理数据所花费的时间远远小于启动一个线程所需要的时间。
默认情况下，blockInterval = 200ms，如果BatchInterval = 5s，那么Partition个数 = BatchInterval / blockInterval = 25，也就是有25个Partition，但是当一个BatchInterval中数据过少，例如只有<25个数的数据，那么是分不成25个Partition的，如下图，只有3个，有时只2个Partition。