spark 小demo

本文是利用scala进行wordcount的demo，环境是scala 2.11.8、 esclipse for scala 、spark 2.1.0 hadoop 2.7.3

1、首先命令行形式运行demo

（1）在你hdfs下的随便一个文件夹新建一个txt文件，做被统计文件夹，这里我是在tmp文件夹下新建的

hdfs dfs -touchz /tmp/input.txt

然后在文件里写进点东西

echo "hello i am a boy and you? haha you is a girl hahaha" | hdfs dfs -appendToFile - /tmp/input.txt

看下是不是真的写成功了，以防没有写成功运行的时候报错

 hdfs dfs -cat /tmp/input.txt

en,真的写成功了哎

开始运行吧！

打开spark-shell

依次运行：

var file = sc.textFile("hdfs:/tmp/input.txt")

var rdd = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

 rdd.collect()

 rdd.foreach(println)

运行完毕就会发现：又成功了哎

上面是命令行运行，下面介绍一下jar包运行

2、

（1）首先将你集群的spark安装目录下jar文件夹下的所有jar包导出，在eslipse新建scala项目后将你的导出jar包到导入项目中，并且将你的scala Complier 改为2.11以和你的整体环境保持一致，Scala Complier和你的java Complier一样，都在Proprietary下，找一下就可以找到，这些完成后就可以写你的wordcount了

（2）编写wordcount

package edu.test

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object wordcount {
  def main(args: Array[String]) {
    if (args.length < 1) {
      System.err.println("Usage: <file>")
      System.exit(1)
    }

    val conf = new SparkConf()
    val sc = new SparkContext(conf)
    val line = sc.textFile(args(0))

    line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println)

    sc.stop()
  }
}

这里是wordcount的代码，和刚才命令行的其实是一致的，然后写完之后，没有错误了就右键export将其导出为jar包

将jar包上传到你的spark集群，我是上传在了/opt/project目录下，

上传成功就可以运行了，这里运行我只对必要的参数进行了设置，非必要的参数没有进行设置

spark-submit --name wordcount --class edu.test.wordcount /opt/projecount.jar  hdfs:/tmp/input.txt

运行之后发现命令行输出了要统计的那些字符就说明你的运行成功了，就可以继续用这种方法去写更多的小demo了

附：spark-submit的参数说明