在Windows 10中设置Spark 10

Question

任何人都可以建议我一个很好的教程，在我的机器上设置火花，它正在远程访问安装了hadoop的其他机器。

Answer 1

您需要的是客户端设置。您计划连接的hadoop发行版可能在其文档中有一个客户端设置。像MapR一样有mapr-client。

一旦到位，遵循任何这些设置火花，

How to set up Spark on Windows?

Running apache Spark on windows

http://www.ics.uci.edu/~shantas/Install_Spark_on_Windows10.pdf

让我知道，如果这有助于。干杯。

Answer 2

我建议你在Windows上使用IntelliJ IDEA开发Spark。创建一个SBT项目，您可以在其上复制构建文件上的下一个代码，它将为您下载所有的依赖关系。

version := "1.0" 
scalaVersion := "2.10.6" 
// grading libraries 
libraryDependencies += "junit" % "junit" % "4.10" % "test" 

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "1.6.3", 
    "org.apache.spark" %% "spark-sql" % "1.6.3", 
    "org.apache.spark" %% "spark-hive" % "1.6.3" 
) 

libraryDependencies ++= Seq(
    "org.apache.commons" % "commons-csv" % "1.4", 
    "joda-time" % "joda-time" % "2.9.9", 
    "com.univocity" % "univocity-parsers" % "1.5.1" 
) 
libraryDependencies +="com.databricks" %% "spark-csv" % "1.5.0" 

之后，创建一个scala对象，并开始开发。它主要用于Spark的本地开发。读取或写入文件时请注意路径。