寻找hadoop、hive、spark对应版本

      一开始装了hadoop3.2.1+hive3.1.2+spark3.0.0,整个安装虽然有一些些jar包版本冲突问题但都解决了,直到写spark-sql的时候执行,sparkSession.sql("……")的时候报了一个类找不到问题,一眼看过去就觉得应该又是包冲突了,然后,从pom.xml引入的包版本冲突开始解决,最后演变成,解决A问题,发现了B问题,又遇到D问题……一种坑越挖越大的感觉。

      说白了是因为以前都是用公司搭建好的,自己没有完整搭建过,知道要版本兼容,但还是没找对兼容版本的搭建。

      总结了下最后怎么找的:

      1、找spark和hive版本

      如果hadoop、spark、hive都要用到,先下载spark包,比如我这边用到spark3.0.0版本,解压包后/spark-3.0.0/jars目录能看到用到的jar,找到hive相关的包看是哪个版本的,这里可以看到spark3.0.0对应hive-2.3.7.

       2、找hadoop版本

       进入hive官网https://hive.apache.org/downloads.html,可以看到hive对应的hadoop版本

寻找hadoop、hive、spark对应版本