星火SQL约rddToDataFrameHolder

问题描述：

我编写了一个罐子在Spark上运行，我的项目包括广口瓶是enter image description here 星火SQL约rddToDataFrameHolder

和我的Hadoop的火花火花2.0.2彬hadoop2.7 当我运行我的罐子enter image description here 是版本冲突吗？后续是我的代码

case class VehicleInfo(vin: String, vehicle_license: String, sales_id: String)

对象ChangeStatus { DEF主（参数：数组[字符串]）：单位= {

//txt path in hdfs 
val path = args(0) 

val sparkConf = new SparkConf().setAppName("change_status") 
val sc = new SparkContext(sparkConf) 
val sqlContext = new SQLContext(sc) 

import sqlContext.implicits._ 

val input = sc.textFile(path) 
    .map(line => line.split("\\|")) 
    .map(line => VehicleInfo(line(0), line(1), line(2))) 
    .toDF() 

input.registerTempTable("vehicle_info") 

val result_df = sqlContext.sql("select * from vehicle_info limit 10") 

result_df.show()

} }

什么是有关该问题的我的码？

答

问题很可能是您针对Spark 2.0.2运行，但是针对Spark 1.5.1进行编译。通常，Spark对兼容性非常好 - 即使在二进制级别。然而，这个跨越主要版本，并且必然会发生重大变化。所以，我会说只是编译2.0.2

星火SQL约rddToDataFrameHolder

相关推荐