火花斯卡拉连接
问题描述:
在连接使用斯卡拉火花的情况。以前我没有Scala的经验,并且使用Python和Spark结合。火花斯卡拉连接
所以对于Python的连接做这样的:
import findspark
import pyspark
findspark.init('/Users/SD/Data/spark-1.6.1-bin-hadoop2.6')
sc = pyspark.SparkContext(appName="myAppName")
再编码的过程就开始了。
所以我的问题是 - 我怎么能建立使用斯卡拉方言星火连接?
谢谢!
答
无论Python或阶的,下面的步骤是常见的
- 使罐子提供给您所使用的语言(蟒蛇路径斯卡拉Python和SBT进入)
斯卡拉
name := "ProjectName"
version := "1.0"
scalaVersion := "2.10.5"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0"
蟒蛇
PYTHONPATH=/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python:/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip:PYTHONPATH
- 一旦库可用,则使用是常规的如下面
在阶
val conf = new SparkConf().setAppName(appName).setMaster(master)
new SparkContext(conf)
在蟒
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
的你提供的代码片段是获取python库。它可能会起作用,但可能并不是你会遵循的最终方法。