Hive和Hbase整合

发布 : 2016-02-12 分类 : 大数据 浏览 :

1.把hive-hbase-handler-1.2.1.jar cp到hbase/lib下

1
[root@node5 lib]# cp hive-hbase-handler-1.2.1.jar /opt/modules/hbase-1.1.3/lib

1.1.同时把hbase中的所有的jar,cp到hive/lib

1
[root@node5 lib]# cp ./* /opt/modules/hive-1.2.1/lib

2.在hive的配置文件增加属性:

1
2
3
4
<property>
<name>hbase.zookeeper.quorum</name>
<value>node2,node3,node5</value>
</property>

3.在hive中创建临时表

1
2
3
4
5
CREATE EXTERNAL TABLE t_user
(key string,username string,pwd string,age int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,user:un,user:pwd,user:age")
TBLPROPERTIES ("hbase.table.name" = "t_user");
1
create 't_user','user'
1
2
3
4
5
6
7
8
9
10
11
12
13
1.拷贝Hbase下的jar包

到hive的lib目录下

2.拷贝hive的xxx.jar包到hbase的lib目录下

3.启动hbase

start-hbase.sh

4.更改hive的配置文件

5.如果hbase上的表不存在就创建内部表,存在就创建外部表(数据存储在HDFS上)
本文作者 : Matrix
原文链接 : https://matrixsparse.github.io/2016/02/12/Hive和Hbase整合/
版权声明 : 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

知识 & 情怀 | 二者兼得

微信扫一扫, 向我投食

微信扫一扫, 向我投食

支付宝扫一扫, 向我投食

支付宝扫一扫, 向我投食

留下足迹