azkaban的安装及使用

1.安装azkaban

建议在安装了sqoop的节点上安装（本文在hadoop05）

1)创建一个文件夹用来存放源安装文件

cd /home/hadoop/apps

mkdir azkaban-2.5.0

2）上传三个安装包

azkaban-executor-server-2.5.0.tar.gz

azkaban-sql-script-2.5.0.tar.gz

azkaban-web-server-2.5.0.tar.gz

3）解压安装包并发送

[[email protected] ~]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C apps/azkaban-2.5.0/

[[email protected] ~]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C apps/azkaban-2.5.0/

因为是依赖于RDMS的所以需要发送到装有mysql的节点上（本文为hadoop02）

[[email protected] ~]$ scp -r azkaban-sql-script-2.5.0.tar.gz hadoop02:~

在hadoop02解压到家目录下即可：[[email protected] ~]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz

azkaban的安装及使用

4）登陆hadoop02的mysql系统

[hadoop[email protected] azkaban-2.5.0]$ mysql -uroot -proot

5）创建azkaban数据库

mysql> create database azkaban;

6）使用azkaban数据库

mysql> use azkaban;

7）执行脚本初始化azkaban元数据

mysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;

azkaban的安装及使用

8）创建 SSL 配置

在hadoop05机器:

[[email protected] ~]$ cd /home/hadoop/apps/azkaban-2.5.0

在 azkaban 目录下：

[[email protected] azkaban-2.5.0]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA

密码就输入hadoop，别的都是直接回车。地区写CN。

azkaban的安装及使用

把生成的keystore证书文件放进web的根目录下

[[email protected] azkaban-2.5.0]$ cp keystore azkaban-web-2.5.0/

9）修改azkaban.properties配置文件

cd /home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/conf

vim azkaban.properties

    #Azkaban Personalization Settings
    azkaban.name=MyTestAzkaban                                                    #服务器 UI 名称,用于服务器上方显示的名字
    azkaban.label=My Local Azkaban                                                  #描述
    azkaban.color=#FF3601                                                                #UI 颜色
    azkaban.default.servlet.path=/index
    web.resource.dir=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/web/                    #默认根 web 目录
    default.timezone.id=Asia/Shanghai                                                #默认时区,已改为亚洲/上海默认为美国

    #Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager                        #用户权限管理默认类
    user.manager.xml.file=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/conf/azkaban-users.xml
                                                                                                                #用户配置,具体配置参加下文
    #Loader for projects                # global 配置文件所在位置
    executor.global.properties=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
    azkaban.project.dir=projects

    database.type=mysql                                #数据库类型
    mysql.port=3306                                       #端口号
    mysql.host=hadoop02                              #数据库连接 IP
    mysql.database=azkaban                          #数据库实例名
    mysql.user=root                                        #数据库用户名
    mysql.password=root                              #数据库密码
    mysql.numconnections=100                     #最大连接数

    # Velocity dev mode
    velocity.dev.mode=false

    # Azkaban Jetty server properties.
    jetty.maxThreads=25                                    #最大线程数
    jetty.ssl.port=8443                                        #Jetty SSL 端口
    jetty.port=8081                                            #Jetty 端口
    jetty.keystore=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore            #SSL 文件名
    jetty.password=hadoop                                #SSL 文件密码
    jetty.keypassword=hadoop                            #Jetty 主密码与 keystore 文件相同
    jetty.truststore=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore                #SSL 文件名
    jetty.trustpassword=hadoop                        # SSL 文件密码

    # Azkaban Executor settings
    executor.port=12321                                    #执行服务器端口

    # mail settings
    mail.sender=
    mail.host=
    job.failure.email=
    job.success.email=
    lockdown.create.projects=false
    cache.directory=cache                                    #缓存目录

10）用户配置

vim azkaban-users.xml

azkaban的安装及使用

11）进入azkaban-executor-2.5.0文件夹修改配置文件

cd /home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf

[[email protected] conf]$ vim azkaban.properties

        #Azkaban
        default.timezone.id=Asia/Shanghai

        # Azkaban JobTypes Plugins
        azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/plugins/jobtypes

        #Loader for projects
        executor.global.properties=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
        azkaban.project.dir=projects

        database.type=mysql
        mysql.port=3306
        mysql.host=hadoop02
        mysql.database=azkaban
        mysql.user=root
        mysql.password=root
        mysql.numconnections=100

        # Azkaban Executor settings
        executor.maxThreads=50
        executor.port=12321

executor.flow.threads=30

12) 配置环境变量

[[email protected] ~]$ vim .bashrc

export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0
export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0

export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin

[[email protected] ~]$ source .bashrc

2.启动

1）启动 web 服务器

启动 Azkaban Web Server：

[[email protected] ~]$ azkaban-web-start.sh

运行成为后台服务：nohup azkaban-web-start.sh 1>/home/hadoop/azwebstd.out 2>/home/hadoop/azweberr.out &

azkaban的安装及使用

2）启动执行服务器

启动 Azkaban Executor：[[email protected] ~]$ azkaban-executor-start.sh

运行成为后台服务：nohup azkaban-executor-start.sh 1>/home/hadoop/azexstd.out 2>/home/hadoop/azexerr.out &

azkaban的安装及使用

启动完成后，在浏览器(建议使用谷歌浏览器)中输入 https://IP:8443，即可访问 azkaban 服务了。在登录中输入刚才新的户用名及密码,点击 login。

3）能进入到如下画面证明安装成功

注意地址是：https://hadoop05:8443/

azkaban的安装及使用

3.解决出现的问题

azkaban的安装及使用

把derby-10.11.1.1.jar 上传到hadoop05

[[email protected] ~]$ cp derby-10.11.1.1.jar /home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/lib/

[[email protected] ~]$ cp derby-10.11.1.1.jar /home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/lib/

azkaban的安装及使用

1.安装azkaban

2.启动

3.解决出现的问题

相关推荐