hive安装
牛头人
随笔 - 122 文章 - 0 评论 - 2
在Hadoop集群上的Hive配置
1. 系统环境
Oracle VM VirtualBox
Ubuntu 16.04
Hadoop 2.7.4
Java 1.8.0_111
hadoop集群
master:192.168.19.128
slave1:192.168.19.129
slave2:192.168.19.130
MySQL安装在master机器上,hive服务器也安装在master上
hive版本: https://mirrors.cnnic.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz
2.mysql安装
本文使用MySQL作为远程元数据库,部署在master节点上
2.1安装mysql
安装mysql服务端
sudo apt-get install mysql-server
安装mysql客户端
sudo apt-get install mysql-client
期间会有命令窗口会有跳窗提醒输入密码,一定要记住密码,登录Mysql和后续的配置都需要密码。
2.2.查看mysql服务是否启动
sudo netstat -tap | grep mysql
2.3.设置mysql远程访问
a).编辑mysql配置文件,把其中bind-address = 127.0.0.1注释了
sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf
b). 使用root进入mysql命令行,执行如下2个命令,示例中mysql的root账号密码就是按照mysql时输入的密码
mysql -u root -p
命令窗口会有提示输入密码,即是安装mysql时输入的密码
c).授权root账户,并授予它远程连接的权力
添加一个用户名是root且密码是root的远程访问用户
grant all on *.* to [email protected]'%' identified by 'root' with grant option;
d).运行完后紧接着输入,以更新数据库:
FLUSH PRIVILEGES;
e).执行quit退出mysql
2.4.重启mysql
/etc/init.d/mysql restart
重启成功后,在其他计算机上,便可以登录。
MySQL卸载:
1、sudo apt-get autoremove --purge mysql-server-5.0
2、sudo apt-get remove mysql-server
3、sudo apt-get autoremove mysql-server
4、sudo apt-get remove mysql-common --这个很重要
5、dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P -- 清除残留数据
3.Hive安装配置
3.1.下载Hive安装包
wget https://mirrors.cnnic.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz
3.2.解压
tar -zxfv apache-hive-2.3.0-bin.tar.gz
3.3.将解压后的目录移动到自己指定的安装目录
mv apache-hive-2.3.0-bin /home/hadoop/software/
3.4.配置环境变量
sudo vim /etc/profile
export HIVE_HOME=/home/hadoop/software/apache-hive-2.3.0-bin
export PATH=$HIVE_HOME/bin:$PATH
3.5.使环境变量生效
source /etc/profile
3.6.修改conf/下的几个template模板并重命名
a).复制hive-env.sh.template创建为hive-env.sh
cp hive-env.sh.template hive-env.sh
给hive-env.sh增加执行权限
chmod 755 hive-env.sh
修改conf/hive-env.sh 文件
HADOOP_HOME=/home/hadoop/software/hadoop-2.7.4
b).复制hive-default.xml.template创建为hive-site.xml
cp hive-default.xml.template hive-site.xml
修改hive-site.xml文件内容
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>
<!--配置缓存目录-->
<property>
<name>hive.exec.local.scratchdir</name>
<value>/home/hadoop/software/apache-hive-2.3.0-bin/iotmp</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/home/hadoop/software/apache-hive-2.3.0-bin/iotmp</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
根据hive-site-xml,创建缓存目录
cd /home/hadoop/software/apache-hive-2.3.0-bin/
mkdir iotmp
3.7.修改 bin/hive-config.sh 文件
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
export HIVE_HOME=/home/hadoop/software/apache-hive-2.3.0-bin
export HADOOP_HOME=/home/hadoop/software/hadoop-2.7.4
3.8.下载mysql-connector-java-5.1.44-bin.jar文件,并放到/home/hadoop/software/apache-hive-2.3.0-bin/lib目录下
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gz
解压mysql-connector-java-5.1.44.tar.gz后,将mysql-connector-java-5.1.44-bin.jar放置在lib目录下
4.将apache-hive-2.3.0-bin分发到slave节点
scp -r apache-hive-2.3.0-bin [email protected]:/home/hadoop/software/
scp -r apache-hive-2.3.0-bin [email protected]:/home/hadoop/software/
slave端配置, 修改 conf/hive-site.xml 文件
<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083</value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
5.Hive的mysql数据库配置
5.1.使用root用户登录mysql数据库
mysql -u root -p
5.2.创建hive用户
mysql> CREATE USER 'hive' IDENTIFIED BY 'hive';
5.3.给hive用户赋权限
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
5.4.更新数据库
mysql>flush privileges;
mysql> quit
5.5.Hive用户登录
[email protected]:~$ mysql -u hive -p
5.6.创建Hive数据库
mysql>create database hive;
6.启动Hive
6.1.启动hadoop
6.2. 进入bin目录初始化表数据
[email protected]:~/software/apache-hive-2.3.0-bin/bin$./schematool -dbType mysql -initSchema
6.3.启动metastore服务
hive –service metastore &
在 master 节点上运行 jps 应该会有RunJar 进程
6.4.服务器端访问
[email protected]:~$ hive
6.5.客户端(slave)访问
[email protected]:~$ hive
分类: hadoop
0
0
« 上一篇: Python Mock的入门学习
» 下一篇: OpenStack 单元测试
posted @ 2017-09-18 19:33 牛头人 阅读(2106) 评论(0) 编辑 收藏
发表评论
昵称:
评论内容:
[Ctrl+Enter快捷键提交]
【推荐】超50万行VC++源码: 大型组态工控、电力仿真CAD与GIS源码库
【推荐】腾讯云海外1核2G云服务器低至2折,半价续费券限量免费领取!
【推荐】阿里云双11返场来袭,热门产品低至一折等你来抢!
【推荐】天翼云双十一翼降到底,云主机11.11元起,抽奖送大礼
【推荐】流程自动化专家UiBot,体系化教程成就高薪RPA工程师
【活动】京东云服务器_云主机低于1折,低价高性能产品备战双11
【优惠】七牛云采购嘉年华,云存储、CDN等云产品低至1折
相关博文:
· hadoop-spark集群安装---5.hive和spark-sql
· hadoop+hive+spark搭建(二)
· 在Hadoop-2.2.0集群上安装 Hive-0.13.1 with MySQL
· Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装
· Hive安装配置
» 更多推荐...
最新 IT 新闻:
· NASA职员分享罕见火星日出照:令人神往
· 为什么总有人睡觉磨牙?真是肚子里有蛔虫?科学的解释来了
· 中国联通成立柬埔寨公司,打造“一带一路”信息光通道新格局
· 腾讯云微瓴成立东南运营中心,携手招商局打造产业互联网生态基地
· GitHub 开源代码分析引擎 CodeQL,并启动 3000 美元漏洞奖励计划
» 更多新闻...
昵称: 牛头人
园龄: 2年7个月
粉丝: 15
关注: 0
|
|||||||||
日 | 一 | 二 | 三 | 四 | 五 | 六 | |||
---|---|---|---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 | |||
8 | 9 | 10 | 11 | 12 | 13 | 14 | |||
15 | 16 | 17 | 18 | 19 | 20 | 21 | |||
22 | 23 | 24 | 25 | 26 | 27 | 28 | |||
29 | 30 | 31 | 1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
搜索
积分与排名
- 积分 - 79448
- 排名 - 7914
随笔分类
- android(2)
- hadoop(5)
- java(44)
- kubernetes(1)
- linux(12)
- mongodb(1)
- nginx(4)
- python(12)
- RabbitMQ(4)
- redis(12)
- spring boot(20)
- 数据库(3)
随笔档案
Recent Comments
- 1. Re:centos7安装MongoDB3.4
- centos 7.6 安装MongoDB 4.1
允许外网访问,注释掉原来代码也不行,必须是
bindIp: 0.0.0.0 - --骆鹏飞
- 2. Re:linux安装RabbitMQ
- rpm -Uvh
这个不行了 - --ajj40123
Top Posts
- 1. Android六大基本布局(56801)
- 2. linux安装RabbitMQ(46775)
- 3. centos7上安装redis(29491)
- 4. centos7安装MongoDB3.4(25557)
- 5. java数据结构之树(23913)
推荐排行榜
- 1. centos7安装MongoDB3.4(6)
- 2. linux安装RabbitMQ(4)
- 3. Android六大基本布局(3)
- 4. linux通过源码安装nodejs(1)
- 5. 五步搞定Android开发环境部署(1)
Copyright © 2019 牛头人
Powered by .NET Core 3.0.0 on Linux