scala

首先进入scala

spark-shell

进入完成会出现

scala

我们用scala去分析一个文件

打开文件

最后一行是文件内容,发现和我们的文件是一致的OK

scala

接下来我们给文件进行拆分以空格去拆分

scala

拆分完成了发现变成了三个元组,我们用flatMap把他打散

scala

接下来我们按键给它分组用groupByKey()

scala

它做了一个分组,统计,出现一次的是一个1 出现几次后面是几个1

注意它这里的 =>相当于python里的:,<-相当于 in

接下来我们就可以求和了

x>_1是 下标的意思,scala下标是从1开始的,用sum就下标2的和就出现了统计结果

scala