ubutun16.04下安装Ganglia监控hadoop与hbase
1.采用的是apt-get方式进行安装:(测试集群2台机器)
bigdata-cnki节点(主节点)进行下面命令安装:(ganglia-monitor +gmetad +ganglia-webfrontend+apache2)
sudo apt-get install ganglia-monitor rrdtool gmetad ganglia-webfrontend
在安装过程中,你应该会看到类似下面的安装后与apache2服务器重启选择,直接 Yes,然后按Enter键。
将ganglia的文件链接到apache的默认目录下
sudo ln -s /usr/share/ganglia-webfrontend /var/www/ganglia
slave节点:
sudo apt-get install ganglia-monitor
在主节点上安装ganglia-webfrontend和ganglia-monitor。在其他监视节点上,只需要安装ganglia-monitor即可
在这里需要注意apache2实际上没有自动安装,而是安装包下载下来了(不进行安装apache2后面启动不成功。)下载后的默认安装包路径在/var/cache/apt/archives下面 找到apache2_2.4.18-2ubuntu3.8_amd64.deb这个包进行安装,安装后在/etc/apache2下面配置apache2 .由于启动apache2 的时候发现80端口已经占用 所以需要更改端口号 ,在/etc/apache2下面ports.conf配置文件中进行修改。修改如下:把80改成90即可。
然后在修改/etc/apache2/sites-enabled/000-default.conf 配置文件如下:80改成90即可。
然后在修改apache2.conf,如下图所示:最低端加入下面两行即可。
然后启动apache2并验证apache2是否启动成功:
sudo /etc/init.d/apache2 restart
sudo /etc/init.d/apache2 status 如果出现下面界面,证明apache2启动成功
最后在验证服务器地址登录界面:http://localhost:90出现如下界面证明apache2服务安装并启动成功
2.Ganglia 主节点配置
复制 Ganglia webfrontend Apache 配置,使用下面的命令来正确的位置:
sudo cp /etc/ganglia-webfrontend/apache.conf /etc/apache2/sites-enabled/ganglia.conf(很关键的一步)
(1)现在,您需要使用以下命令来编辑 Ganglia 元守护程序的配置文件:
sudo vi /etc/ganglia/gmetad.conf
加入下面配置文件:
data_source "hadoop" 192.168.106.102 192.168.106.100
gridname "MyGrid"
case_sensitive_hostnames 1
(2)需要使用下面的命令编辑主节点的配置文件gmond.conf:
sudo vi /etc/ganglia/gmond.conf
做下面的变化:
其他地方不做修改。然后把gmond.conf文件拷贝到其他节点对应的目录下即可。
3.各个节点相应的包安装和配置完成后,接下来是配置hadoop和hbase监控。
(1)先在主节点上配置hadoop对应的目录为/etc/hadoop配置文件中hadoop-metrics2.properties如下图所示:
sudo vim hadoop-metrics2.properties进行修改如下:
然后其他节点配置如下:
最后配置hbase,先在主节点上配置hbase(hbase-1.2.6/conf/hadoop-metrics2-hbase.properties)如下:
sudo vim hadoop-metrics2-hbase.properties 最下面加入两行即可。
其他节点配置如下:
备注:ip地址是各机分配的ip地址 端口号使用默认的8649
4.都配置完成后,接下来是启动相应的进程。
启动后查看各个进程状态:
5.查看成果
输入地址:http://192.***.***.***:90/ganglia/ 即可界面如下图所示:
CPUs Total: 为总cpu数 | 32 |
Hosts up: 线上的机器个数 | 2 |
Hosts down:掉线个数为0 | 0 |