hive整合hbase

1.1 hive与hbase版本兼容性

Hive版本 hive-1.2.1hbase的版本hbase-1.2.1

hbasehive哪些版本兼容

  • hive0.90hbase0.92是兼容的早期的hive版本与hbase0.89/0.90兼容
  • hive1.xhbase0.98.x或则更低版本是兼容的。
  • hive2.xhbase1.x及比hbase1.x更高版本兼容

如果当下没有合适的版本,就自己编译把。编译过程如下。

编译:

创建项目

eclipse中创建一个项目。Java project即可。

随便起个名,finish即可。

导入代码

在创建好的项目上点击右键,选择Import

选择General下的FileSystem

找到hive-1.2.1\src\hbase-handler\src\java目录选择其中的org目录导入,这里的hive-1.2.1是源码,源码自行到官网下载。

添加依赖包

导入代码后可以看到很多的错误提示。这时由于没有引入依赖的jar包导致的。下面,我们引入,需要hadoophivehbase下相关的lib包。依赖jar包到hadoop、hive、hbase安装目录下找。

新建lib目录,把对应的依赖包,导入

选择Build Path点击Add to Bulid Path

至此可以导出我们需要的jar包了。在org.apache.hadoop.hive.hbase包上点击右键,选择export

 选择java下的JAR file

hive整合hbase

将hive-hbase-handlerjar包放入hive的lib目录下。

1.2 hive与hbase整合环境配置

修改hive-site.xml文件,添加配置属性(zookeeper的地址

<property>      
<name>hbase.zookeeper.quorum</name>
<value>itcast01:2181,itcast02:2181,itcast03:2181</value>
</property>

引入hbase依赖包

将hbase安装目录下的lib文件夹下的包导入到hive的环境变量中

在hive-env.sh 文件中添加

export HIVE_CLASSPATH=$HIVE_CLASSPATH:/var/local/hbase/lib/*

至此、hive与hbase整合环境准备完成。