spark sql数据加载与保存

**

spark sql 数据的加载与保存

加载数据
**
第一种**
read直接加载数据
spark.read.加载各种数据类型
第二种
spark.read.format("…").load("…")
一般是用第一种,精简就对了。
例如:spark.read.format(“json”).load(“文件位置”)

保存数据
df.write.json("./js/一个目录")
能读的都能写;相互对应
写数据也有format,相互对应的
df.write.format(“json”).save(“保存的路径”)
spark sql数据加载与保存
默认是errorIfExists:保存的路径存在,报错。
可以修改默认值。
spark sql数据加载与保存
jdbc在DataFrameReader中,

spark.sql(“create table aa(id int,name string)”)
创建的表会放在spark-warehouse

spark.sql(“load data local inpath(”./bb.txt") into table bb")