spark开发环境安装配置

一、java安装

官网：jdk下载官网

spark开发环境安装配置

jdk安装，我的自定义的路径是 D:\Spark\Java\jdk

spark开发环境安装配置

jre路径自定义：D:\Spark\Java\jre

spark开发环境安装配置

配置环境变量

JAVA_HOME = D:\Spark\Java\jdk

path 添加 %JAVA_HOME%\bin

最后cmd输入java -version检测是否成功安装

二、Scala安装

Scala下载网址：https://www.scala-lang.org/download/2.10.5.html

然后直接解压到自定义路径： D:\Spark\Scala

spark开发环境安装配置

配置环境变量

SCALA_HOME = D:\Spark\Scala

path 添加 %SCALA_HOME%\bin

最后cmd输入scala检测是否成功安装

三、SVN安装

SVN下载网址：https://tortoisesvn.net/downloads.html

安装到自定义路径： D:\Spark\svn

注意command line client tools 选项要勾选上，否则IDEA配置的时候会找不到svn.exe

spark开发环境安装配置

配置环境变量

SVN_HOME = D:\Spark\svn

path 添加 %SVN_HOME%\bin

最后cmd输入svnserve --help检测是否成功安装

四、sbt安装

sbt下载官网： https://www.scala-sbt.org/download.html，我下载的是msi安装包，默认安装改个文件夹就行

sbt默认源基本是连不上的，安装完Scala，idea(idea要装scala插件)和sbt后，要在sbt文件夹和idea设置中进行配置

本机安装sbt路径为D://Spark/sbt，

spark开发环境安装配置

安装完sbt后进入 D://Spark/sbt/conf 文件夹，修改/新建文件 repo.properties，红色字体是需要根据自己配置修改的内容：

[repositories]
  local
  aliyun: http://maven.aliyun.com/nexus/content/groups/public/
  typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
  sonatype-oss-releases
  maven-central
  sonatype-oss-snapshots

之后修改文件 sbtconfig.txt 为

# Set the java args to high
-Xmx512M
-XX:MaxPermSize=256m
-XX:ReservedCodeCacheSize=128m
# Set the extra SBT options
-Dsbt.log.format=true
-Dsbt.boot.directory=D://Spark/sbt/data/boot/
-Dsbt.global.base=D://Spark/sbt/data/.sbt
-Dsbt.ivy.home=D://Spark/sbt/data/.ivy2
-Dsbt.repository.config=D:/Spark/sbt/conf/repo.properties
-Dsbt.repository.secure=false

然后在 D://Client/Spark/sbt/bin\sbt-launch.jar 中的 \sbt\sbt.boot.properties中（可用rar解压工具直接打开修改并覆盖，记住是用rar打开文件不需要解压，否则弄不回jar了），修改里面的内容为：

[scala]
version: ${sbt.scala.version-2.10.5}

[app]
  org: ${sbt.organization-org.scala-sbt}
  name: sbt
  version: ${sbt.version-1.3.3}
  class: ${sbt.main.class-sbt.xMain}
  components: xsbti,extra
  cross-versioned: ${sbt.cross.versioned-false}
  resources: ${sbt.extraClasspath-}

[repositories]
  local
  spring: http://conjars.org/repo/
  cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
  aliyun: http://maven.aliyun.com/nexus/content/groups/public/
  maven-central
  sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly
  sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly
  typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
  sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

[boot]
directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/}
lock: ${sbt.boot.lock-true}

[ivy]
  ivy-home: D://Client/Spark/sbt/data/.ivy2
  checksums: ${sbt.checksums-sha1,md5}
  override-build-repos: ${sbt.override.build.repos-false}
  repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories}

配置完后，在cmd中运行一次sbt初始化，初始化过程有点慢，不过可以通过观察D://Client/Spark/sbt/data/.ivy2发现并没有卡住，而是真的慢。。

spark开发环境安装配置

相关推荐