windows安装pyspark(python版spark)
1.安装jdk，参见前文
2.安装pyspark
#这个比较慢
pip install -U pyspark
#这个快一点
pip install -U -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 初始化
spark = SparkSession.builder.master("local[*]").appName("FiratApp").getOrCreate()
# 下面两句都可以获取0到9的数据
# data = spark.createDataFrame(map(lambda x: (x,), range(10)), ["id"])
data = spark.range(0, 10).select(col("id").cast("double"))
# 求和
data.agg({'id': 'sum'}).show()
# 关闭
spark.stop()