Spark-SQL

一、Spqrk-sql 架构
Spark-SQL
二、文件的转化
1、DataFrame
Spark-SQL
eg:
Spark-SQL

2、RDD 转换DataFrame
思路一:
反射机制 需要申明 case class
文本 ——加载到内存——RDD——DataFrame
Spark-SQL
注意:import spark.implicits._ 这个包支持将一个RDD隐式的转换为一个DataFrame
Spark-SQL
Spark-SQL
Spark-SQL
Spark-SQL
2、使用编程的方式定义RDDs
制作临时表:
Spark-SQL
Spark-SQL
Spark-SQL
Spark-SQL
Spark-SQL
Spark-SQL
Spark-SQL