Linux环境下Strom单机安装详解
《Storm安装总结》
本教程讲述的是单机版Storm的安装过程,本人操作系统为:
uname -a
(1) Linux version 2.6.32-504.30.3.el6.x86_64 ([email protected]) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-11) (GCC) ) #1 SMP Wed Jul 15 10:13:09 UTC 2015
(2) CentOS release 6.5 (Final)
一.准备工作
我的机器使用的是CentOS release 6.5,64位操作系统,建议安装一个全新的系统,以防出现各种别的问题。
1.1 安装JDK
Storm需要JVM的支持,这里我选择jdk 1.8版本,步骤如下。
(1)检查服务器上是否安装了旧版本的jdk
java -version
(2)如果有旧版本的jdk则移除
yum remove java-1.6.0-openjdk
yum remove java-1.7.0-openjdk
(3)下载jdk1.8安装包
java官网下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
说明:32位机器安装Linux x86版本,64位机器安装Linux x64版本。本服务器操作系统为Linux version 2.6.32-504.30.3.el6.x86_64,这里选择Linux x64版本的jdk安装包。下载jdk-8u131-linux-x64.tar.gz
(4)创建java文件夹
mkdir /usr/local/services/java
(5)将下载到压缩包拷贝到java文件夹中,进入jdk源码包所在目录
cp jdk-8u66-linux-x64.tar.gz /usr/local/services/java
(6)解压压缩包
cd /usr/local/services/java
tar -zxvf jdk-8u131-linux-x64.tar.gz -C ./
rm jdk-8u131-linux-x64.tar.gz
(7)配置环境变量
修改/etc/profile文件 ,用文本编辑器打开/etc/profile, 在profile文件末尾加入:
export JAVA_HOME=/usr/local/services/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(8)使 /etc/ 目录下的 profile 文件即可生效
source /etc/profile
(9)验证是否安装成功
输入java命令
输入javac命令
1.2 安装Python
Centos系统一般会自带默认安装Python2.x。使用python -V可以查看python版本信息。本服务python版本为Python 2.6.6
1.3 安装Zookeeper
(1)下载安装包
可以去官网下载最新安装包,官网地址:http://zookeeper.apache.org/releases.html,这里使用zookeeper-3.4.9版本
(2)创建 /usr/local/services/zookeeper文件夹
mkdir /usr/local/services/zookeeper
(3)进入到
/usr/local/services/zookeeper 目录
cd /usr/local/services/zookeeper
(4)解压缩
zookeeper-3.4.9.tar.gz
tar -zxvf zookeeper-3.4.9.tar.gz -C
./
(5)进入到 /usr/local/services/zookeeper/zookeeper-3.4.9/conf
目录
cd zookeeper-3.4.9/conf/
(6)复制
zoo_sample.cfg 文件的并命名为为 zoo.cfg
cp zoo_sample.cfg zoo.cfg
(7)用
vim 打开 zoo.cfg
文件并修改其内容为如下
# The number of milliseconds of each tick
# zookeeper
定义的基准时间间隔,单位:毫秒
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
# dataDir=/tmp/zookeeper
#
数据文件夹
dataDir=/usr/local/services/zookeeper/zookeeper-3.4.9/data
#
日志文件夹
dataLogDir=/usr/local/services/zookeeper/zookeeper-3.4.9/logs
# the port at which the clients will connect
#
客户端访问 zookeeper
的端口号
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
(8)保存并关闭
zoo.cfg 文件
(9)进入到
/usr/local/services/zookeeper/zookeeper-3.4.9/bin 目录中
cd ../bin/
(10)修改/etc/profile文件 ,用文本编辑器打开/etc/profile, 在profile文件末尾加入:
# idea - zookeeper-3.4.9 config start - 2016-09-08
export ZOOKEEPER_HOME=/usr/local/services/zookeeper/zookeeper-3.4.9/
export PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
# idea - zookeeper-3.4.9 config start - 2016-09-08
(11)使
/etc/ 目录下的 profile
文件即可生效
source /etc/profile
(12)启动
zookeeper 服务
zkServer.sh start
如打印如下信息则表明启动成功
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
(13)查询
zookeeper 状态
zkServer.sh status
(14)关闭
zookeeper 服务
zkServer.sh stop
如打印如下信息则表明成功关闭
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
(15)重启
zookeeper 服务
zkServer.sh restart
如打印如下信息则表明重启成功:
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
1.4 安装libtool
(1)下载安装包
下载地址:http://mirrors.ustc.edu.cn/gnu/libtool/,这里使用libtool-2.4.2.tar.gz版本
(2)创建 /usr/local/services/libtool文件夹
mkdir /usr/local/services/libtool
(3)进入到
/usr/local/services/libtool 目录
cd /usr/local/services/libtool
(4)解压缩
libtool-2.4.2.tar.gz
tar -zxvf libtool-2.4.2.tar.gz -C
./
(5)进入到 /usr/local/services/libtool/libtool-2.4.2
目录
cd /usr/local/services/libtool/libtool-2.4.2
(6)安装
./configure --prefix=/usr/local
make
make install
1.5 安装m4
(1)下载安装包
下载地址:http://ftp.gnu.org/gnu/m4/,这里使用m4-1.4.17.tar.gz版本
(2)创建 /usr/local/services/m4文件夹
mkdir /usr/local/services/m4
(3)进入到
/usr/local/services/m4 目录
cd /usr/local/services/m4
(4)解压缩
m4-1.4.17.tar.gz
tar -zxvf m4-1.4.17.tar.gz -C
./
(5)进入到 /usr/local/services/m4/m4-1.4.17
目录
cd /usr/local/services/m4/m4-1.4.17
(6)安装
./configure --prefix=/usr/local
make
make install
1.6 安装automake
(1)下载安装包
下载地址:http://ftp.gnu.org/gnu/automake/,这里使用automake-1.14.tar.gz 版本
(2)创建 /usr/local/services/automake文件夹
mkdir /usr/local/services/automake
(3)进入到
/usr/local/services/automake 目录
cd /usr/local/services/automake
(4)解压缩
automake-1.14.tar.gz
tar -zxvf automake-1.14.tar.gz -C
./
(5)进入到 /usr/local/services/automake/automake-1.14
目录
cd /usr/local/services/automake/automake-1.14
(6)安装
./configure --prefix=/usr/local
make
make install
1.6 安装automake
(1)下载安装包
下载地址:http://ftp.gnu.org/gnu/automake/,这里使用automake-1.14.tar.gz 版本
(2)创建 /usr/local/services/automake文件夹
mkdir /usr/local/services/automake
(3)进入到
/usr/local/services/automake 目录
cd /usr/local/services/automake
(4)解压缩
automake-1.14.tar.gz
tar -zxvf automake-1.14.tar.gz -C
./
(5)进入到 /usr/local/services/automake/automake-1.14
目录
cd /usr/local/services/automake/automake-1.14
(6)安装
./configure --prefix=/usr/local
make
make install
1.6 安装autoconf
(1)下载安装包
下载地址:http://ftp.gnu.org/gnu/autoconf/,这里使用autoconf-2.69.tar.gz 版本
(2)创建 /usr/local/services/autoconf文件夹
mkdir /usr/local/services/autoconf
(3)进入到
/usr/local/services/autoconf 目录
cd /usr/local/services/autoconf
(4)解压缩
autoconf-2.69.tar.gz
tar -zxvf autoconf-2.69.tar.gz -C
./
(5)进入到 /usr/local/services/autoconf/autoconf-2.69
目录
cd /usr/local/services/autoconf/autoconf-2.69
(6)安装
./configure --prefix=/usr/local
make
make install
1.7 安装pkgconfig
(1)下载安装包
下载地址:http://download.chinaunix.net/download/0009000/8174.shtml/,这里使用pkgconfig-0.17.2.tar.bz2 版本
(2)创建 /usr/local/services/pkgconfig文件夹
mkdir /usr/local/services/pkgconfig
(3)进入到
/usr/local/services/pkgconfig 目录
cd /usr/local/services/pkgconfig
(4)解压缩
pkgconfig-0.17.2.tar.bz2
tar -jxvf
pkgconfig-0.17.2.tar.bz2 -C
./
(5)进入到 /usr/local/services/pkgconfig/pkgconfig-0.17.2
目录
cd /usr/local/services/pkgconfig/pkgconfig-0.17.2
(6)安装
./configure --prefix=/usr/local
make
make check
make install
1.7 安装ZeroMQ
(1)下载安装包
下载地址:http://download.zeromq.org/,这里使用zeromq-4.0.3.tar.gz 版本
(2)创建 /usr/local/services/zeromq文件夹
mkdir /usr/local/services/zeromq
(3)进入到
/usr/local/services/zeromq目录
cd /usr/local/services/zeromq
(4)解压缩
zeromq-4.0.3.tar.gz
tar -zxvf
zeromq-4.0.3.tar.gz -C ./
(5)进入到 /usr/local/services/zeromq/zeromq-4.2.1
目录
cd /usr/local/services/zeromq/zeromq-4.2.1
(6)安装
./configure --prefix=/usr/local
make
make install
1.7 安装JZMQ
(1)下载安装包
下载地址:https://github.com/zeromq/jzmq,这里使用jzmq-master.zip 版本
(2)创建 /usr/local/services/jzmq文件夹
mkdir /usr/local/services/jzmq
(3)进入到
/usr/local/services/jzmq目录
cd /usr/local/services/jzmq
(4)解压缩
jzmq-master.zip
unzip jzmq-master.zip
(5)进入到 /usr/local/services/jzmq/jzmq-master
目录
cd /usr/local/services/jzmq/jzmq-master
(6)安装
./autogen.sh
./configure
make
make install
1.8 安装Storm
(1)下载安装包
可以去官网下载最新安装包,官网地址:http://storm.incubator.apache.org/downloads.html, 这里使用最新版apache-storm-1.1.0.tar.gz版本
(2)解压,Storm解压即可使用,这里将storm放在/usr/local/目录下
tar -zxvf apache-storm-1.1.0.tar.gz -C ./
mv apache-storm-1.1.0 /usr/local
(3)修改/etc/profile文件 ,用文本编辑器打开/etc/profile, 在profile文件末尾加入
export STORM_HOME=/usr/local/apache-storm-1.1.0
export PATH=$STORM_HOME/bin:$PATH
export PATH
(4)用 vim 打开 /usr/local/apache-storm-1.1.0/conf/storm.yaml 文件并修改其内容为如下
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "localhost"
nimbus.host: "localhost"
storm.local.dir: "/usr/local/apache-storm-1.1.0/data"
ui.port: 8080
说明:
1)storm.zookeeper.servers : 指定Storm系统所使用的Zookeeper的地址。如果安装的是单机版,那就是你的本机地址,这里填“localhost”。
2)nimbus.host : "localhost", storm nimbus的IP地址,指定此机器为Storm的Nimbus结点,也是本机地址,这里填“localhost”。
3)storm.local.dir :Storm的一些配置文件或jar包,或日志存放的地方,注意这个目录下,一定要保证有权限生成文件,否则会报错,因此最好是本地用户的文件路径。
4) storm.zookeeper.port :zookeeper与storm通信的端口,通常默认为2181。但是最好还是检查一下zookeeper的zoo .cfg文件,保证配置相同。
(5)启动strom
1)首先要启动zookeeper:zkServer.sh start
2)启动strom:cd /usr/local/apache-storm-1.1.0/bin
nohup ./storm nimbus &
nohup ./storm supervisor &
nohup ./storm ui &
(6)停止strom
cd /usr/local/apache-storm-1.1.0/bin
storm kill wordcount
其中,wordcout为topology的名称,即提交jar包是指定的topology名称
(7)测试storm
在浏览器中输入:http://123.206.120.139:8080/index.html,如果显示出如下页面,则storm安装成功。