Spark Streaming之Receiver和Direct区别
Receiver（过时了）
- receiver运行在executor中，是一个常驻内存的进程。
- 默认存储级别：MEMORY_AND_DISK_SER_2。
- 由于使用的high level的API，offset都存在zookeeper中，用户不用关心offset。
- 当receiver接收到数据，此时若driver端挂了，相应的executor也会挂掉，此时，也会造成数据的丢失。为了避免数据丢失，引入了WAL机制（即日志记录，存在HDFS上），但是使能WAL机制，可修改存储级别为：MEMORY_AND_DISK_SER，会造成数据延迟，会减少数据吞吐量。
- Spark分区与Kafka分区不对应，没有直接关系。
Direct
- 不需要Receiver常驻进程。
- Topic的partition和RDD的partition是1:1，即Spark分区与Kafka数据分区一一对应。
- 自己手工维护offset。