云存储集群配置十一——安装数据仓库Hive
安装要求:
1、完成Hive工具的安装和配置
2、Hive工具能够正常启动运行
3、Hive控制台命令能够正常使用
4、能够正常操作数据库、表、数据
软件版本:apache-hive-2.1.1-bin.tar.gz
1、Hive工具安装配置(Hive安装的过程所有操作步骤都需要在admin用户进行)
(1)之前已将软件包上传至setups目录
(2)创建用于存放Hive相关文件的目录,进入该目录,创建Hive本地临时文件目录“tmp”,并将软件包解压到“hive”目录下
(3)配置hive相关的环境变量
(4)查看新添加和修改的环境变量是否设置成功,以及环境变量的值是否正确
(5)进入hive的配置文件目录(hive的配置文件默认都被命名为模板文件,需要对其进行拷贝重命名之后才能使用)
(6)对配置文件进行修改没找到相关配置文件并对其值进行修改
(7)该项所有的操作步骤在用户admin下进行
启动HBase集群之前首先确保zookeeper集群已被开启
启动HBase集群之前首先确保Hadoop集群已被开启
在所有主句使用命令“zkServer.sh start”,在使用“zkServer.sh status”查看zookeeper当前的状态,若集群中只有一个“leader”节点,其余均为“follower”节点,则表示zookeeper启动成功
(8)启动Hadoop集群
在主节点主机(一号机)使用命令“start-all.sh”,在备用节点(二号机)执行命令“yarn-daemon.sh start resourcemanager ”,使用命令“jps”查看进程信息,若一号机有“NameNode”、“ResourceManager”的两个进程,则表示hadoop集群的主节点启动成功,在数据节点(三四五号主机)中 有“DataNode”和“NodeManager”的两个进程,则表示hadoop集群在数据节点启动成功
(9)在HDFS中分别创建Hive的临时文件目录“tmp”,在HDFS中分别创建Hive的数据存储目录“warehouse”,在HDFS中分别创建Hive的日志文件目录“log”,并添加三个目录的用户组写权限
(10)对配置文件进行修改
配置文件内容较多,可以在编辑器内使用命令“/关键字”直接进行搜索,使用快捷键“n”可以切换到下一个关键字的所在位置
(11)创建hive元数据数据库(本操作步骤需要在root用户进行,并在四号机完成)操作之前需要启动mysql集群
一号机:ndb_mgmd -f /usr/local/mysql/etc/config.ini
二三号机:ndbd
四五号机:service mysql start
进入控制台,在控制台执行以下命令进行数据库的创建
(12)此步骤及后面步骤需要在admin用户进行,并在一号机进行操作
添加mysql连接的相关配置信息
(13)将mysql的数据库连接工具包添加到Hive的“lib”目录下
(14)对hive进行初始化
2、Hive工具启动和验证(该操作在admin用户进行,并在一号机进行操作)
(1)进入控制台,使用命令查看当前的数据库列表,并查看hive的功能函数
(2)使用命令查看hive功能函数的详细信息