您的位置: 首页 > 文章 > Spark alone 集群搭建

Spark alone 集群搭建

分类: 文章 • 2024-09-12 10:34:46

启动master节点

./sbin/start-master.sh
登陆到UI
http://10.239.10.11:8080/

Spark alone 集群搭建

启动worker节点

./sbin/start-slave.sh spark://xxshen-dev:7077
Spark alone 集群搭建

启动 Spark-Sql

./bin/spark-sql --master spark://xxshen-dev:7077
启动之后会有一个 application UI
这里4040端口被占用，使用的是4041端口，这样一来和yarn 有点像了。
Spark alone 集群搭建

执行sql

SELECT * FROM parquet_tpcds_2.store_sales WHERE ss_customer_sk BETWEEN 10 AND 80 limit 10
Spark alone 集群搭建

总结

这个use case 主要用来测试计算存储分离