Spark在windows环境里跑时报错找不到org.apache.hadoop.fs.FSDataInputStream

由于最开始图省事,也是为了学习Spark的用法,所以搭了一个本地的测试Spark环境,hadoop也是本地单机版(测试没有问题)。在idea中写了一个基础的求和的spark程序,跑起来后报找不到FSDataInputStrea,上网搜了好久,基本上都是说是配置文件里没有把hadoop路径加进来的,我试过按照搜出来的改,没有用。后来调整了下POM文件的spark相关jar包的引用,在启动就没问题了。

Spark在windows环境里跑时报错找不到org.apache.hadoop.fs.FSDataInputStream

之前是没有引用stream和hive,猜测应该是和stream这个包有关。