在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记
最近在学习利用spark进行数据挖掘,整理了一下安装过程,以前安装过老版本,不能跟上发展需要,一下问新版本安装过程仅供参考:
一.软件下载地址:
由于我电脑是windows的但是windows安装会遇到很多兼容性问题,因此在本机安装了虚拟机进行学习,整理了VMware、ubuntu镜像文件、jdk、Hadoop、scala、spark和anaconda的下载地址:
VMware下载地址: 点击打开链接ubuntu镜像文件下载地址: 点击打开链接
jdk下载地址: 点击打开链接
hadoop下载地址: 点击打开链接
scala下载地址: 点击打开链接
spark下载地址: 点击打开链接
anaconda3下载地址: 点击打开链接
2.软件安装过程:
2.1VMware和ubuntu安装过程
VMware和ubuntu安装过程:点击打开链接
2.2 安装软件
tar -zxvf XXX解压文件,解压后可以直接使用(jdk、Hadoop、scala、spark路径)
bash anacondaXXX(anaconda路径)
2.3环境变量配置
2.4 测试是否正确安装
出现如下:说明java正确安装
出现如下说明scala正确安装
出现如下说明spark正确安装
出现如下说明pyspark正确安装
主要安装步骤如上,接下来就研究spark使用