alluxio - 集群模式安装1
alluxio 集群模式安装
参考的官方文档
大致就是分发下安装包,然后改下配置文件就可以启动
这里讲一下会常出现的2个错误
- 操作系统修改了ssh的默认22端口 alluxio ssh port change
- java是手动安装的,不是使用系统自带的 alluxio no java
- 用户需要密码的问题 passwd for user
首先把安装包分发到各个机器
解压后,修改配置文件
主要修改
alluxio-env
alluxio-site
master
workers
masters 和 workers 的配置和hadoop一样
配置主节点hostname
和work的hostname
用ip也一样
alluxio-env中的配置
alluxio-site中的配置
这里基本上都是按照默认
主要修改了存储路径和work的内存使用
修改 libexec/alluxio-config.sh 配置
如果手动配置过操作系统的jdk路径
那他这个检索java的脚本会出现找不到java的问题
这里建议手动指定一下
因为操作系统把ssh默认的端口改成了其他端口
像这里就把默认22的端口,改成了19222
启动的时候会出现如下错误
alluxio在启动的时候就会找不到端口
而且也不会像spark那样,可以在配置中加个ssh端口
在alluxio_env中加入下列端口配置是没用的
这官方没提供,最后只能找找启动脚本了
我指定的是alluxio-start.sh 去启动的
先检查检查这个里面
根据启动脚本的命令
alluxio-start.sh all Mount
找找main函数里的all部分
看脚本内容,应该是先去执行了 start_masters 然后再是 start_workers start_proxies
去看看start_workers里的内容
发现start_masters最终会调用启动master的脚本
我们再去看看master的启动脚本
发现问题所在了
master启动脚本中,使用的ssh默认端口连接
最后我们加上个端口配置
启动
alluxio-start.sh all SudoMount
查看页面,发现没有hadoop2
检查下日志
发现hadoop2创建的时候有问题
估计是visudo里配置的问题
如果没有加nopasswd
修改下配置
再重启看看网页
正常启动了