Spark SQL和DataFrame

Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用.

由于MapReduce这种模型执行效率较慢,所以Spark SQL应用而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快.

DataFrame:与RDD类似,DataFrame也是一个分布式数据容器.然而DataFrame更像传统数据库的二维表格,除了数据以外,还记录数据的结构信息,即schema.同时,与hive类似,DataFrame也支持嵌套数据类型(struct、array和map).从API易用性的角度来看,DataFrame API提供的是一套高层的关系操作,比函数的RDD API要更加友好,门槛更低.由于与R和Pandas的DataFrame类似,Spark DataFrame很好地继承了传统单机数据分析的开发经验.

1.在本地创建一个文件,有三列,分别是id,name,age,用逗号分隔,然后上传到hdfs上
Spark SQL和DataFrame
hdfs dfs -put Person /Person
2.在spark shell中执行命令,读取数据,将每一行的数据分隔
val rdd = sc.textFile(“hdfs://cdh:9000/Person”).map(_.split(","))
3.定义case class(相当于表的schema)
case class Person(id:Int, name:String, age:Int)
4.将RDD和case class关联
val personRDD = rdd.map(x =>Person(x(0).toInt,x(1),x(2).toInt))
5.将RDD转换成DataFrame
val personDF = personRDD.toDF
6.对DataFrame进行处理
personDF.show
Spark SQL和DataFrame

DataFrame常用操作

DSL风格语法
查看DataFrame中的内容
personDF.show

查看DataFrame部分列中的内容
personDF.select(personDF.col(“name”)).show
personDF.select(col(“name”),col(“age”)).show
personDF.select(“name”).show

打印DataFrame的schema信息
personDF.printSchema

过滤age大于等于18de
personDF.filter(col(“age”) >= 18).show

按年龄进行分组统计相同年龄的人数
personDF.groupBy(“age”).count().show

SQL风格语法
如果想要使用SQL风格的语法,需要将DataFrame注册成表
personDF.registerTempTable(“t_person”)

查询年龄最大的前两名
sqlContext.sql(“select * from t_person order by age desc limit 2”).show

显示表的schema信息
sqlContext.sql(“desc t_person”).show

编写Spark SQL查询程序

这里写一个本地的,首选导入需要的依赖

org.apache.spark
spark-sql_2.10
1.5.2

package com.aimuti.sparksql

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext

object SparkSqlDemo {
  def main(args: Array[String]): Unit = {
//    SparkContext需要SparkConf
    val conf = new SparkConf().setAppName("SQL").setMaster("local[2]")
//    SQLContext需要SparkContext
    val sc = new SparkContext(conf)
//    创建SQLContext
    val sqlContext = new SQLContext(sc)
//    从指定的文件获取信息创建RDD
    val lineRDD = sc.textFile("d://Person.txt").map(_.split(" "))
//    关联RDD和case class
    val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
//    将RDD转换成DataFrame
//    需要隐式转换,才有toDF方法
    import sqlContext.implicits._
    val personDF = personRDD.toDF
//    注册成临时表
    personDF.registerTempTable("t_person")
//    在sqlContext中写SQL
    val SqlDF = sqlContext.sql("select * from t_person order by age desc limit 2")
//    将结果以json的形式写入到指定位置
    SqlDF.write.json("d://out11")
    sc.stop()
  }
}
//    创建case class
case class Person(id:Int, name:String, age:Int)

DataFrame常用操作

编写Spark SQL查询程序

相关推荐