mac下pyspark安装

mac下pyspark安装


1.安装mac版vagrant

https://www.vagrantup.com/downloads.html

2.安装VirtualBox

https://www.virtualbox.org/wiki/Downloadsmac下pyspark安装

3.安装虚拟机

#创建目录vagrant
mkdir vagrant
#进入目录
cd vagrant
#创建目录centos
mkdir centos
#进入目录
cd centos
#创建centos7的Vagrantfile文件
vagrant init centos/7
vagrant up

4.进入虚拟机

#进入虚拟机
vagrant ssh
#升级虚拟机
sudo yum update
#安装java
sudo yum install java-1.8.0-openjdk

5.安装spark—>(链接:http://spark.apache.org/downloads.html)
mac下pyspark安装
mac下pyspark安装
6.安装spark

ls #查看当前路径下文件
#创建路径来存放
mkdir opt
cd opt/
curl -O http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-preview-bin-hadoop2.7.tgz
#下载完成后,解压缩
tar zxvf spark-2.4.4-bin-hadoop2.7.tgz
ls
#进入spark-2.4.4-bin-hadoop2.7/
cd spark-2.4.4-bin-hadoop2.7/
ls
#执行bin/spark
bin/pyspark
mac下pyspark安装
7.窗口不小心关闭后重新进入的操作
mkdir vagrant
cd vagrant
cd centos
vagrant up
vagrant ssh

8.虚拟机操作的一些命令

#重启
vagrant reload [vm-name]
#关机
vagrant halt [vm-name]
#销毁虚拟机
vagrant destroy [vm-name]
#ssh登录虚拟机
vagrant ssh [vm-name]

9.参考

https://www.jianshu.com/p/c1f45706c56f
https://www.cnblogs.com/tsdblogs/p/9389548.html
https://www.bilibili.com/video/av27076260?p=10