在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记

最近在学习利用spark进行数据挖掘,整理了一下安装过程,以前安装过老版本,不能跟上发展需要,一下问新版本安装过程仅供参考:

一.软件下载地址:

由于我电脑是windows的但是windows安装会遇到很多兼容性问题,因此在本机安装了虚拟机进行学习,整理了VMware、ubuntu镜像文件、jdk、Hadoop、scala、spark和anaconda的下载地址:

VMware下载地址:      点击打开链接
ubuntu镜像文件下载地址:    点击打开链接
jdk下载地址:     点击打开链接
hadoop下载地址:    点击打开链接
scala下载地址:    点击打开链接
spark下载地址:    点击打开链接

anaconda3下载地址:   点击打开链接

2.软件安装过程:

2.1VMware和ubuntu安装过程

VMware和ubuntu安装过程:点击打开链接

2.2 安装软件

tar -zxvf   XXX解压文件,解压后可以直接使用(jdk、Hadoop、scala、spark路径)

bash anacondaXXX(anaconda路径)

2.3环境变量配置

在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记

2.4 测试是否正确安装

出现如下:说明java正确安装

在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记

在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记

出现如下说明scala正确安装

在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记

出现如下说明spark正确安装

在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记

出现如下说明pyspark正确安装

在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记

主要安装步骤如上,接下来就研究spark使用