启动spark-shell遇到的问题

系统:Windows10

Spark 2.1.1+Hadoop 2.8.3+Scala 2.11.8+jdk1.8.0_171

最近在学习spark的东西,本来想按照官方文档学的,但是第一个例子就报错。

找了一下是启动spark-shell的时候就报错了已经

报错信息如下:

<console>:14: error: not found: valuespark

      import spark.implicits._

              ^

<console>:14: error: not found: valuespark

      import spark.sql

              ^

百度了很多,但是很多文档都写得不是很清楚,或者试了没用。也有可能是遇到的问题真的太低级了,都没人在搜这个吧。后来还是转Google了,一Google就有解决方法了。亲测有效:

详情参照网址:https://*.com/questions/44386153/why-does-spark-shell-fail-with-error-not-found-value-spark

首先要确定你的hadoop有winutils.exe这个文件,没有的话****或者GitHub上面应该有的下载,下载好放到%HADOOP_HOME%\bin 文件夹下面

然后创建文件夹 C:\tmp\hive(我的好像一开始就有)

在CMD使用以下命令更改权限:

C:\Users\<User_Name>>winutils.exe chmod -R 777 C:\tmp\hive

再删除C:\Users\<User_Name>\metastore_db 这个文件夹

之后再启动spark-shell就不会报错了。

截图如下:

启动spark-shell遇到的问题