与Jupyter
问题描述:
Pyspark整合
我已经在我的机器上安装蟒蛇(Python的2.7版本),并通过该I”我连接到jupyter笔记本,但无法运行“与“PYSPARK_DRIVER_PYTHON = jupyter”和PYSPARK_DRIVER_PYTHON_OPTS =“记事本”开始jupyter笔记本打印“命令也。当我运行命令时,它将进入下一行但不显示输出,并且打印颜色不会突出显示。与Jupyter
我已经安装了pyspark,并在Windows机器(独立模式)的命令提示符下运行,其工作正常.....但我需要在jupyter笔记本(windows)中运行。有谁能够帮助我??
答
这就是你需要做的所有事情,当你已经有了pyspark外壳正如你刚才提到的那样设置了Pupper和Windows之后,
-
添加两个新的环境变量,设置
-
PYSPARK_DRIVER_PYTHON
从CMD提示jupyter -
PYSPARK_DRIVER_PYTHON_OPTS
笔记本
-
运行
pyspark
,而不是 'jupyter notebook
'
这应该可以解决问题。
答
对于最新的设置,查看他们的官方jupyter码头回购。
这是Jupyter 4.x的星火2.1.0,Hadoop的2.7
docker run -it --rm -p 8888:8888 jupyter/pyspark-notebook
Jupyter Notebook Python, Spark, Mesos Stack
作为旁注,
1 jupyter使用的配置文件,而,IPython中使用的配置文件。我相信如果你想在本地运行火花独立。看看Dockerfile并找出它的魔力。在https://github.com/jupyter/docker-stacks
2更多的黄金您是否遇到了错误?你能在笔记本上创建一个SparkContext吗? –
SparkContext是否关闭? –
完全没有错误,只是不显示输出,仅仅是在运行时它会进入下一行。 –