Spark学习-本地模式-1

Spark Shell

下载完spark安装包,解压后进去bin目录,运行./spark-shell即可打开scala版本的Spark Shell。

 书上或者网上举得的例子都是如图:

Spark学习-本地模式-1

接下来介绍一些简单的spark shell函数

(1)flatMap,collect

flatMap把每一行进行指定操作返回对象,然后把返回的所有对象合并成一个对象

Spark学习-本地模式-1

(2)map,collect

map把每一行输入进行指定操作,每一条输入返回一个对象。flatMap比map多一步,就是最后会把所有的对象合并成一个对象。

Spark学习-本地模式-1

(3)reduceByKey累加单词数

Spark学习-本地模式-1

Spark学习-本地模式-1