Hbase客户端扫描程序挂起
问题描述:
我一直在使用Hbase几个月,并且我已经加载了超过6GB数据的Hbase表。当我试图用Java客户端它挂起,并报告以下错误,Hbase客户端扫描程序挂起
Could not seek StoreFileScanner[HFileScanner for reader reader=hdfs
而且如果我登录到外壳和扫描它完美的作品,并有少量的数据,即使Java客户端扫描仪正常工作对HBase的表扫描的行。
针对此问题的任何解决方法?
答
对于大数据,你可以写下地图减少代码。当涉及到大数据时,简单的Java程序并不是非常有效。你可以看看猪脚来实现。
查阅这些进一步的帮助:
http://sujee.net/tech/articles/hadoop/hbase-map-reduce-freq-counter/
http://wiki.apache.org/hadoop/Hbase/MapReduce
http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/mapreduce/package-summary.html
要不你可以给一个尝试猪脚本也MAPT减少程序。
http://pig.apache.org/docs/r0.9.1/api/org/apache/pig/backend/hadoop/hbase/HBaseTableInputFormat.html
还有一个选项是存在的您增加HBase的超时属性,并给予一试。从不同的HBase的配置设置,您可以参考:
http://hbase.apache.org/docs/r0.20.6/hbase-conf.html
但是,当涉及到大量数据的map-reduce代码始终是更好的,你也可以搜索优化准则/最佳做法HBase的。