HBase Coprocessor实现HBase二级索引

用Coprocessor实现HBase的二级索引，遇到了很多问题，记录一下

首先本次的感想是：

官方文档很重要！

日志非常重要！！！

用的数据是POES粒子通量数据，选取其中的位置信息，mag_lat_sat, mag_lon_sat，时间信息time，L值IGRF_L和B值Btot，以及各能段0度和90度方向质子和电子的粒子通量数据存储，row key是通过L、lat、lon计算出来的索引值，用B值作一个二级索引，方便在LB坐标系下的索引。

首先，按照http://www.cnblogs.com/ventlam/archive/2012/10/30/2747024.html，数数据行数测试一下

表POESDataTest加载了自带的数行数的coprocessor

然后测试二级索引，按照https://www.jianshu.com/p/d56584c45401，稍作修改，写一个用Btot作二级索引的project，并且打包成jar包

• 将表disable，

disable 'POESDataTest2'

• 加载coprocessor，

alter 'POESDataTest2', METHOD=>'table_att', 'coprocessor'=>'hdfs://[email protected]:9000/user/had_user/tests/TestCoprocessor.jar|coprocessor.TestCoprocessorIndex|'

• 再enable表

enable 'POESDataTest2'

为了防止加载coprocessor的时候错误导致集群挂掉，修改hbase-site.xml文件，加入一个property，hbase.coprocessor.abortonerror，设置成false

注意！这个参数在加载好了没问题之后需要重新设置回true，并且要把修改的hbase-site.xml重新放到project，重新生成和上传jar包。

一开始遇到了问题，加载coprocessor的时候，告诉我File dose not exist，jar包不存在，hbase shell告诉我把hbase-site.xml的hbase.table.sanity.checks这个property设置成false。这次没报错了，成功加载，成功enable，但是在scan 'POESDataTest2'的时候出现了问题

网上搜了各种方案，hbase hbck显示POESDataTest2这个表有2个inconsistence，但是hbase hbck -repair, hbase hbck -repairHole都没有用。

重新去看日志

you know what？？？他始终找不到jar文件，为什么在加载的时候没有报错呢，应为我把hbase.table.sanity.checks这个property设置成false了，不报错不代表没错，OK？

感觉被hbase shell的提示坑了一把。

加载成功后，往表里put一个数据测试

发现索引表IndexTabelTest中没有数据，https://www.jianshu.com/p/d56584c45401文里说得很清楚，因为

hbase.coprocessor.abortonerror：如果coprocessor加载失败或者初始化失败或者抛出Throwable对象，则主机退出。设置为false会让系统继续运行，但是coprocessor的状态会不一致，所以一般debug时才会设置为false，默认是true；.说的很清楚了，虽然我之后上传了很多个版本的coprocessor，但是在集群重启之前它一直沿用着最早那个版本。将参数再调整为true,重新上传jar包

重新上传jar，重启集群。然后成功