如何在Dataproc上安装Jupyter/iPython？

Question

我想在Cloud Dataproc上使用Jupyter/iPython。我如何在创建新群集时自动进行安装和配置？

Answer 1

Cloud Dataproc团队有一个GitHub repository of initialization actions包含示例和经常使用的初始化操作。您可以使用存储库中的iPython来自动安装和配置iPython。 initialization action page有关创建新群集时如何使用脚本的更多详细信息。

的文艺青年最爱的过程：

1. Download为IPython的
2. 保存初始化动作到谷歌云存储桶

3. Create a new cluster初始化动作与使用--initalization-actions标志Google Cloud SDK：

   gcloud beta dataproc clusters create <my-dataproc-cluster> --initialization-actions gs://<my-bucket>/ipython.sh

4. Create an SSL tunnel and SOCKS proxy到集群

5. 打开Web浏览器到主节点http://<my-dataproc-cluster>-m:8123

在上面，你需要与你的云存储桶的名称和<my-dataproc-cluster>的名称，以取代<my-bucket>的例子的群集。另请注意，对于第5步，URL应该将-m添加到群集名称中，以便访问主节点。

Answer 2

除了上一个答案，此过程在article中有详细描述。此外，它涵盖了Python 3并将笔记本保留在云存储中。