Spark单机模式安装,现基于hadoop伪分布模式运行与操作
Spark单机模式安装,现基于hadoop伪分布模式运行与操作
一、导包:
1.把spark-2.0.1-bin-hadoop2.7.tgz导入software目录并解压
2.进入spark
3.进入conf目录:
4.把文件spark-env.sh.template改名为spark-env.sh
5.进入spark-env.sh配置文件修改
6.进入bin目录
7.进入spark客户端本机单机模式
------------------------------------------------安装成功-------------------------------------------------------
二、Spark的操作
1.创建一个数组并查询他的最大值:
2.转变a1为RDD,并分为2个区
3.创建一个List集合为l1,再把l1转为RDD命名为r2,并分为3个区:
4.查看r2的分区情况
5.查看r2的整体情况:
6.创建一个List的RDD数组为r3:
三、用Spark操作文件:
1、复制一个渠道,并创建一个1.txt文件:
2.通过spark读取,使1.txt文件变为RDD文件,并分为2个区
3.启动Hadoop:
4.把1.txt上传到hadoop伪分布系统里:
5.通过spark读取hadoop的1.txt文件,使1.txt文件变为RDD文件,并分为2个区
6.RDD的懒方法,懒操作: