林子雨-5.3-4 文件数据读写-综合案例

目录

 

1、读写文件

2、求TopN

3、求最大最小值

4、文件排序

5、二次排序

6、连接操作


1、读写文件

林子雨-5.3-4 文件数据读写-综合案例

2、求TopN

分区分2个==用两个线程

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

只有键值对才可以排序

林子雨-5.3-4 文件数据读写-综合案例

3、求最大最小值

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

4、文件排序

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

5、二次排序

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

网络中可传输的数据必须可序列化

林子雨-5.3-4 文件数据读写-综合案例

6、连接操作

找出评分高于4.0的电影

林子雨-5.3-4 文件数据读写-综合案例

????生成了键值对RDD

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

keyBy:Key不变

 

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例

林子雨-5.3-4 文件数据读写-综合案例