SparkSQL集成Hive

（1）相关配置：

将以下文件拷贝到 $SPARK_HOME/conf 目录下

Hive: hive-site.xml

Hadoop: core-site.xml和hdfs-site.xml

同时，启动Spark shell 的时候，需要制定mysql的驱动

首先查看core-site.xml，hdfs-site.xml，hive-site.xml

 

 

 

(2)拷贝mysql-connector-java-

然后将 root/hive/lib 下面的mysql-connector-java-5.1.39.jar拷贝到某个目录下（可以自己设定目录）：

如root/input 目录下：

 

 

然后首先启动hdfs.yarn集群和yarn

start-hdfs.sh

start-yarn.sh

 

接着启动spark：sbin//start-all.sh

接着在spark 下输入：

bin/spark-shell --master spark://hd09-01:7077 --jars /root/input/mysql-connector-java-5.1.39.jar

备注：hd09-01 是对应集群的主机名

输入：spark.sql("show tables").show

查看是否显示hive中的表名

 

成功显示hive的所有表