如何在Spark SQL中读取JSON文件
如何在Spark SQL中读取JSON文件,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
val path =
"/root/temp/people.json"
读取Json文件,生成DataFrame:
1 |
val peopleDF = spark. read .json(path)
|
打印Schema结构信息
1 |
peopleDF.printSchema() |
创建临时视图
1 |
peopleDF.createOrReplaceTempView( "people" )
|
执行查询
1 |
spark.sql( "SELECT name FROM people WHERE age=19" ).show
|
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注行业资讯频道,感谢您对亿速云的支持。