Spark SQL入门

Spark SQL is Apache Spark’s module for working with structured data.
Spark SQL 是spark的模块用来处理结构化的数据（类似一张表，ORC/Parquet/JSON）,不仅仅是SQL。

Spark SQL是1.0版本出来的，1.3毕业的

Spark 的 SQL框架：
Spark SQL:是spark的一个分支
而Hive on Spark 是hive里面的（只需 set hive.execution.engine = spark）

---

与hive的集成

标准连接

通过jdbc查Spark里面的结果数据

Spark SQL, DataFrames and Datasets Guide

Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用此额外信息来执行额外的优化。有几种与Spark SQL交互的方法，包括SQL和Dataset API。在计算结果时，使用相同的执行引擎，与您用于表达计算的API /语言无关。这种统一意味着开发人员可以轻松地在不同的API之间来回切换，从而提供表达给定转换的最自然的方式。

Spark SQL的一个用途是执行SQL查询。Spark SQL还可用于从现有Hive安装中读取数据。

DataFrames and Datasets

Datasets是分布式数据集合。数据集是Spark 1.6中添加的一个新接口，它提供了RDD的优势（强类型，使用强大的lambda函数的能力）和Spark SQL优化执行引擎的优点。数据集可以被构造从JVM对象，然后使用功能性的转换（操作map，flatMap，filter等等）。 Dataset API在Scala和 Java中可用。Python没有对Dataset API的支持。但由于Python的动态特性， Dataset API的许多好处已经可用（即您可以自然地按名称访问行的字段 row.columnName）。R的情况类似。

DataFrame(1.3版本出来的，1.3之前是叫SchemaRDD)是一个Dataset，被组织成带名字的列。它在概念上等同于关系数据库中的表或R / Python中的数据框，但在底层具有更丰富的优化。DataFrame可以从多种来源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。DataFrame API在Scala，Java，Python和R中可用。在Scala和Java中，DataFrame由Rows 的数据集表示。在Scala API中，DataFrame它只是一个类型别名Dataset[Row]。而在Java API中，用户需要使用Dataset来表示DataFrame。

在本文档中，我们经常将Rows的Scala / Java数据集称为DataFrame。

RDD vs DataFrames vs Dataset

三者都是分布式的数据集

RDD：文件读进来之手是RDD[String] 类型 。里面的String类型也可换成自定义类型如RDD[Student]，那么在RDD层面它只知道这是个student，student里面的字段RDD是不知道的。
但是DataFrame是知道里面的详细信息的，因为他就是一个dataset被组织成带列名的列。

---

同样的功能使用JAVA Scala python 语言开发执行性能是不一样的，但是有了DataFrame之后

都是先转成逻辑执行计划，所以用DataFrame来写执行性能都是一样的的。