安装Hive及环境变量的配置(三种安装部署的方式)

三种安装方式,推荐第三种(博文底部附安装包+驱动包)
1.Derby版Hive直接使用(不推荐)
默认使用derby(数据库)维护元数据

缺点:此版本,在每个节点自己独立维护一个derby数据库,即在节点1添加了数据库,则在节点2无法查看(多个节点安装hive后,每个hive拥有一套自己的元数据,各个节点的库、表不同步)

解压Hive
cd /export/softwares
tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C …/servers/

直接启动 bin/hive
cd …/servers/
cd hive-1.1.0-cdh5.14.0/
bin/hive
hive>create database myhive;

2.使用mysql共享hive元数据(rpm包方式安装不推荐)
第一步:查看系统自带的mysql的rpm包
rpm -qa | grep mysql
rpm -e mysql-libs-5.1.73-8.e16_8.x86_64 --nodeps

第二步:安装mysql的rpm包
rpm -ivh *.rpm

第三步:启动mysql服务
/etc/init.d/mysqld start 或 service mysqld start

第四步:查看mysql初始化密码
more /root/.mysql_secret

第五步:使用随机密码登录mysql并更新密码
mysql -uroot -p
SET PASSWORD=PASSWORD(‘123456’);

第六步:开启mysql远程连接

grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
root用户
%所有
‘123456’密码
刷新:flush privileges;

第七步:设置mysql的开机自动启动
chkconfig --add mysqld
chkconfig mysqld on

3.mysql数据库的安装(使用yum源进行安装,强烈推荐)
第一步:在线安装mysql相关软件包
确保/etc/yum.repos.d/下文件可直接访问网络(不是修改过的)

yum install -y mysql mysql-server mysql-devel

第二步:启动mysql服务并设置开机自启
/etc/init.d/mysqld start 或者 service mysqld start
开机自启:chkconfig mysqld on

第三步:进入mysql的客户端然后进行授权
mysql
mysql>show databases;
mysql>use mysql;

配置远程连接
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
root用户
%所有
‘123456’密码
刷新:flush privileges;

第四步:设置root用户连接mysql的密码
update user set password=password(‘123456’) where user=‘root’;
flush privileges;

第五步:修改hive的配置文件
修改 hive-env.sh:配置 HADOOP_HOME,配置 HIVE_CONF_DIR
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

修改 hive-site.xml:配置hive需要连接的mysql数据库
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
vim hive-site.xml
添加以下配置:

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> ​ ​ javax.jdo.option.ConnectionURL //修改为mysql当前安装的节点名称或IP地址 ​ jdbc:mysql://node02:3306/hive? createDatabaseIfNotExist=true ​ ​ ​ javax.jdo.option.ConnectionDriverName ​ com.mysql.jdbc.Driver ​ ​ ​ javax.jdo.option.ConnectionUserName ​ root ​ ​ ​ javax.jdo.option.ConnectionPassword ​ 123456 ​ ​ ​ hive.cli.print.current.db ​ true ​ ​ ​ hive.cli.print.header ​ true ​ ​ ​ hive.server2.thrift.bind.host //修改为mysql当前安装的节点名称或IP地址 ​ node02 ​

添加mysql驱动包到hive的lib目录下
rz+驱动包
安装Hive及环境变量的配置(三种安装部署的方式)
第六步:修改环境变量
安装Hive及环境变量的配置(三种安装部署的方式)
修改完成后 source /etc/profile(刷新生效)
scp解压修改后的hive包给各个节点并刷新

第七步:验证是否安装成功
节点1创建新数据库
安装Hive及环境变量的配置(三种安装部署的方式)
节点2或节点3均可查到新创建的数据库mytest,则安装成功
安装Hive及环境变量的配置(三种安装部署的方式)
各个节点输入 h或hi 按下tab键,出现如下即说明配置成功
安装Hive及环境变量的配置(三种安装部署的方式)
hive安装包:hive-1.1.0-cdh5.14.0.tar.gz(版本)
https://download.****.net/download/qq_40198103/11985666
hive-mysql驱动包:mysql-connector-java-5.1.38.jar(版本)
https://download.****.net/download/qq_35153200/10276216