HIVE安装

 

前期准备工作

1 检查hadoop是否启动 hive安装到主节点10.112.178.*** nameNode节点上机器上从节点10.112.178.***，10.112.178.***

jps

2 下载h包

           采用2.1.1版本

wget http://mirrors.cnnic.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

3解压hive

tar -zxvf apache-hive-2.1.1-bin.tar.gz

4、配置环境变量
           在root用户下： 用jenkins登录108sudo执行配置文件 以及chown命令
           su root
           vim /etc/profile

export HIVE_HOME=/home/hadoop/apache-hive-2.1.1-bin

PATH=$HIVE_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$FLUME_HOME/bin:/home/jenkins/script:$PATH

5 安装mysql

参看mysql安装文档

           坑1

           安装mysql的时候初始化数据库的时候

./scripts/mysql_install_db --user=mysql --defaults-file=/app/mysql/mysql/my.cnf --basedir=/app/mysql/mysql --datadir=/app/mysql/mysql/data

 

注意--user=mysql 前提是你得创建了mysql用户 因为我用jenkins用户安装的mysql

   

 

创建Hive用户：

    mysql>CREATE USER ‘hive’ IDENTIFIED BY ‘hive’;

    mysql>GRANT ALL PRIVILEGES ON . TO ‘hive’@’master’ WITH GRANT OPTION;

    mysql> GRANT ALL PRIVILEGES ON . TO ‘hive’@’master’ IDENTIFIED BY ‘hive’;

    mysql>flush privileges;

    创建Hive数据库:

    mysql>create database hive;

           设置编码

           alter database hive character set latin1;

6、修改Hive配置文件:

cd /apache-hive-1.2.1-bin/conf

cp hive-default.xml.template hive-default.xml

vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

  </property>

    <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>123456</value>

  </property>

</configuration>

配置hive-env.sh

需要配置一下几点

export JAVA_HOME=/usr/java/jdk1.7.0_45

export HADOOP_HOME=/home/hadoop/hadoop-2.7.2

export HIVE_HOME=/home/hadoop/apache-hive-2.1.1-bin  

export HIVE_CONF_DIR=/home/hadoop/apache-hive-2.1.1-bin/conf

指定以上配置

坑2：修改过的hive-default.xml未生效 读取的还是之前的配置文件 也就是hive内置derby

所以说删除了之前装好的hive重新安装 配置就好了原因很奇怪 没想明白

7 拷贝驱动包

8、拷贝JDBC驱动包
将mySql的JDBC驱动包复制到Hive的lib目录下
cp mysql-connector-java.bin.jar /usr/local/hadoop/ apache-hive-1.2.1-bin /lib

9 拷贝到集群中

           scp -r /home/hadoop/apache-hive-2.1.1-bin VM-10-112-178-110:/home/hadoop/

           有几个节点 拷贝几个（前提hadoop节点安装成功可以并且设置免登陆）

10 初始化数据

           schematool -dbType mysql -initSchema

11 运行hive

           hive –service cli

           hive -hiveconf hive.root.logger=DEBUG,console

hive --service hiveserver2 --hiveconf hive.root.logger=DEBUG,console

hiveserver2        nohup  hive --service hiveserver2 &

在运行hive的时候 报错 怀疑是大数据未启动