Spark系列二: RDD编程

Spark系列一: 介绍及入门

 

Spark对数据对核心抽象----弹性分布式数据集(Resilient Distributed Dataset,简称RDD)

RDD其实就是分布式对元素集合。

一个不可变对分布式对象集合,每个RDD都被分为多个分区,这些分区运行在集群的不同节点上。

在Sprak中,对数据对所有操作不外乎:创建RDD,转化已有RDD,调用RDD操作进行求值。

在一切对背后,Spark会自动将RDD中的数据分发到集群上,并将操作并行执行

 

1. 创建RDD:两种方法:读取一个外部数据集,或 在驱动器程序里分发驱动器程序中的对象集合(如list和set)

Spark系列二: RDD编程

Spark系列二: RDD编程

 

 

2. 操作RDD:两种类型的操作:转化操作(transformation)和 行动操作(action)

转化操作(transformation):由一个RDD生成一个新的RDD

行动操作(action):对RDD计算出一个结果,并将结果返回到驱动器程序中,或把结果存储到外部存储系统(如HDFS)中

Spark系列二: RDD编程

Spark系列二: RDD编程

Spark系列二: RDD编程