Spark调优方案-数据倾斜调优

数据倾斜现象

绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。
原本能够正常执行的Spark作业，突然报出OOM（内存溢出）异常，观察异常栈，是我们写的业务代码造成的。这种情况比较少见。

发生数据倾斜现象的原因

发生数据倾斜现象的原因是，在进行shuffle类的算子时，必须将各个节点上相同的key拉取到某个节点上的一个task上来进行处理，比如按照key进行聚合或join等。此时如果某个key对应的数据量特别大，就会发生数据倾斜现象。比如大部分key对应10条数据，但是个别key却对应了100万条数据，那么大部分task可能就只会分配到10条数据，然后1秒钟就运行完了；但是个别task可能分配到了100万数据，要运行一两个小时。因此，整个Spark作业的运行进度是由运行时间最长的那个task决定的。因此出现数据倾斜现象的时候，Spark作业看起来会运行得非常缓慢，甚至可能因为某个task处理的数据量过大导致内存溢出。

定位发生数据倾斜的代码

通过Spark Web UI可以查看当前运行的stage中的各个task的情况，由此判断出现数据倾斜现象的代码和涉及的数据。

解决方法

（1）使用Hive ETL预处理数据
假设Hive表中有的Key数据100万条，有的只有10条，可以使用Hive ETL预先对数据按照Key进行聚合，或者是预先和其他表进行Join，然后就可以避免在Spark层面进行这类操作。
（2）过滤少数导致倾斜的数据
比如99%的Key对应了10条数据，只有一个Key对应了100万，从而导致了数据倾斜，这种情况很有可能是数据异常，所以可以考虑把这个Key对应的数据去掉。