Cron Action

Cron Action是定时方法。Oozie的Cron Action有自己的EL表达式。

job.properties是Oozie运行的本地文件。
workflow是工作流的定义文件。
coordinator是Oozie自带的定时配置文件。

coordinator

配置name，定时的frequency每十分钟执行一次，起点和结束时间，时区是UTC。

workflow

开始时间是2019-01-01T00:00Z，结束时间是2020-01-01T01:00Z。定义的信息传递给coordinator。

操作

上传程序到hdfs上

1、在app-11上，以hadoop用户登录。
命令：su – hadoop

2、进入tmp根目录。
命令：cd /tmp/

3、创建下载oozie案例的目录。
命令：mkdir oozie-example

4、下载案例程序。
命令：cp -R Spark-stack/Oozie/case/* oozie-example/
注：这里拷贝的不只cron，是将所有的案例都拷贝了过来。

5、进入Oozie的安装目录。
命令：cd /hadoop/Oozie/oozie-5.0.0/

6、在hdfs上创建上传程序的目录。
命令：hdfs dfs -mkdir -p /user/hadoop/cron-schedule-example/apps/cron-schedule

7、上传程序到hdfs。
命令：hdfs dfs -put /tmp/oozie-example/cron-schedule-example/apps/cron-schedule/* /user/hadoop/cron-schedule-example/apps/cron-schedule

8、查看是否上传成功。
命令：hdfs dfs -ls /user/hadoop/cron-schedule-example/apps/cron-schedule

执行提交

9、先登录Oozie的server。网址：app-11：11000

10、任务提交。
命令：bin/oozie job -oozie http://app-11:11000/oozie -config /tmp/oozie-example/cron-schedule-example/apps/cron-schedule/job.properties -run

11、刷新Oozie的服务器。因为是定时的，每隔一段时会触发一个job。原始的job在Coordinator Jobs中。触发的job在Workflow Jobs中。任务是一直进行的，不会结束，需要人为结束。

12、结束任务。
命令：bin/oozie job -oozie http://app-11:11000/oozie -info 0000000-201105134017865-oozie-hado-C

13、删除任务。
命令：bin/oozie job -oozie http://app-11:11000/oozie -kill 0000000-201105134017865-oozie-hado-C

14、再刷新Oozie服务器。

ShellAction

demo

这是输出结果。当前的PATH路径和echo my_output=Hello Oozie。

操作

1、在app-11上以hadoop用户登录。
命令：su – hadoop

2、在hdfs上创建上传程序的目录。
命令：hdfs dfs -mkdir -p /user/hadoop/shell-example/apps/shell

3、上传程序到hdfs上。
命令：hdfs dfs -put /tmp/oozie-example/shell-example/apps/shell/* /user/hadoop/shell-example/apps/shell

4、查看是否上传成功。
命令：hdfs dfs -ls /user/hadoop/shell-example/apps/shell

5、进入Oozie的安装目录下。
命令：cd /hadoop/Oozie/oozie-5.0.0/

6、提交任务。
命令：bin/oozie job -oozie http://app-11:11000/oozie -config /tmp/oozie-example/shell-example/apps/shell/job.properties -run

7、登录Oozie的服务器。

8、执行完成之后打开Workflow中的All Jobs

9、打开第一个任务。

10、点击Job DAG。

这是整个的流程图，其中绿色的部分是这个任务在执行的流程。
11、登录app-12：8088。这是shell的执行任务。

12、点击任务。

13、找到logs点选择。

14、点击stdout。

15、再点here。这是执行任务的过程，和打印的classpath。最后是输出的结果。

MapReduce-例子

job.properties

做MapReduce需要输出MapReduce，所以结果输出Dir。

workflow.xml

MapReduce的流程。

操作

1、以hadoop用户登录。
命令：su – hadoop

2、拷贝相关的job定义。
命令：hdfs dfs -copyFromLocal /tmp/oozie-example/mapreduce-example/ /user/hadoop/

3、查看是否拷贝成功。
命令：hdfs dfs -ls /user/hadoop

4、创建存放输出结果的目录。
命令：hdfs dfs -mkdir /user/hadoop/mapreduce-example/input-data

5、进入Oozie的安装目录下。
命令：cd /hadoop/Oozie/oozie-5.0.0/

6、提交集群执行MapReduce。
命令： bin/oozie job -oozie http://app-11:11000/oozie -config /tmp/oozie-example/mapreduce-example/apps/map-reduce/job\(1\).properties -run

7、登录Oozie的服务器。网址：app-11：11000。

8、查看执行结果的位置。
命令：hdfs dfs -ls /user/hadoop/mapreduce-example/output-data/map-reduce

9、查看执行结果。
命令：hdfs dfs -cat /user/hadoop/mapreduce-example/output-data/map-reduce/part-00000
打印的程序语句的行号。

Hive-例子

job.properties

通过jdbcURL访问hive2中的test库，提供了便捷的方式。

操作

1、在app-12上，以hadoop用户登录。
命令：su – hadoop

2、确保10000端口启动。
命令：netstat -tnl

3、在app-11上，以hadoop用户登录。
命令：su – hadoop

4、进入Oozie安装的目录。
命令：cd /hadoop/Oozie/oozie-5.0.0/

5、上传相关的文件。
命令：hdfs dfs -copyFromLocal /tmp/oozie-example/hive2-example /user/hadoop/

6、检查是否上传成功。
命令：hdfs dfs -ls /user/hadoop/

7、提交程序。
命令：bin/oozie job -oozie http://app-11:11000/oozie -config /tmp/oozie-example/hive2-example/apps/hive2/job.properties -run

8、登录hadoop集群。

9、查看打印结果。结果在Launcher中。结果有12行。

Spark-例子

job.properties

在做sharelib时，我们将spark的目录删除了，所以也可以不指代。这里指代是为了应对多个版本时可以更明确lib的版本，这样就可以在一个版本的集群上执行多个版本的程序。

操作

1、以hadoop用户登录。
命令：su - hadoop

2、进入Oozie的安装目录下。
命令：cd /hadoop/Oozie/oozie-5.0.0/

3、拷贝相应的文件到HDFS上。
命令：hdfs dfs -copyFromLocal /tmp/oozie-example/spark-example/ /user/hadoop/

4、查看是否拷贝成功。
命令：hdfs dfs -ls /user/hadoop/

5、执行。
命令：bin/oozie job -oozie http://app-11:11000/oozie -config /tmp/oozie-example/spark-example/apps/spark/job.properties -run

6、登录Oozie服务器。

7、登录app-12:8088。

因为hadoop是执行方，所以执行的是最快的。而Oozieserver需要有一个回调，hadoop通过回调将状态信息反馈给Oozieserver，所以Oozie稍微缓慢点。

8、查看SparkPi的执行结果。执行结果就是：Pi is roughly 3.1423357116785584.

pyspark-例子

pi.py

这是spark做π计算的程序，使用蒙的卡罗计算方式计算的π。

job.properties

定义Python执行命令的位置，在集群上所有的机器上安装anaconda。

操作

1、以hadoop用户登录。
命令：su - hadoop

2、进入Oozie的安装目录下。
命令：cd /hadoop/Oozie/oozie-5.0.0/

3、将相应的文件拷贝到hdfs上。
命令：hdfs dfs -copyFromLocal /tmp/oozie-example/spark-example-pi/ /user/hadoop/

4、查看是否拷贝成功。
命令：hdfs dfs -ls /user/hadoop/

5、提交程序。
命令：bin/oozie job -oozie http://app-11:11000/oozie -config /tmp/oozie-example/spark-example-pi/apps/pyspark/job.properties -run

6、登录hadoop集群。

7、查看Spark-Pi的结果。

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰