使用IPython和Jupyter笔记本运行Spark应用程序

问题描述:

我试图使用these instructions安装Jupyter。使用IPython和Jupyter笔记本运行Spark应用程序

我已经蟒蛇下安装,当我尝试运行pyspark(从部分 开始与PySpark的是笔记本电脑),我收到以下错误:

$ pyspark Traceback (most recent call last): File"/opt/cloudera/parcels/Anaconda/bin/jupyter", line 4, in from jupyter_core.command import main ImportError: No module named jupyter_core.command

+0

$ pyspark 回溯(最近通话最后一个): 文件 “/选择/ Cloudera公司/包裹/蟒蛇/斌/ jupyter”,4号线,在 从jupyter_core.command进口主要 导入错误:没有模块命名jupyter_core.command – Rohan

+0

如果您在终端输入'jupyter notebook',是否打开jupyter? – Grr

+0

不,命令未找到 – Rohan

在特定目录中创建一个脚本并执行将登录与pyspark到jupyte

!/斌/庆典

出口PYSPARK_DRIVER_PYTHON = /选择/ Cloudera公司/包裹/蟒蛇/斌/ jupyter 出口PYSPARK_DRIVER_PYTHON_OPTS =“NOTEBO OK --NotebookApp.open_browser =假--NotebookApp.ip = '*' --NotebookApp.port = 8880" 出口PATH = /选择/ Cloudera公司/包裹/蟒蛇/斌:$ PATH pyspark

http://host-name:8880/