Hive内置函数 | 每天，遇到更好的你

1	[root@node1 data]# vi win.txt

cookie1,2015-04-10 10:00:02,url2
cookie1,2015-04-10 10:00:00,url1
cookie1,2015-04-10 10:03:04,1url3
cookie1,2015-04-10 10:50:05,url6
cookie1,2015-04-10 11:00:00,url7
cookie1,2015-04-10 10:10:00,url4
cookie1,2015-04-10 10:50:01,url5
cookie2,2015-04-10 10:00:02,url22
cookie2,2015-04-10 10:00:00,url11
cookie2,2015-04-10 10:03:04,1url33
cookie2,2015-04-10 10:50:05,url66
cookie2,2015-04-10 11:00:00,url77
cookie2,2015-04-10 10:10:00,url44
cookie2,2015-04-10 10:50:01,url55

创建表

CREATE EXTERNAL TABLE win (
cookieid string,
createtime string,  --页面访问时间
url STRING       --被访问页面
) ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',' ;

1	hive> desc win;

简单查询的Fetch Task功能

从Hive0.10.0版本开始支持

配置方式：

1> set hive.fetch.task.conversion=more;(只在当前会话有效)

2> hive --hiveconf hive.fetch.task.conversion=more(只在当前会话有效)

3> 修改hive-site.xml文件

1
2
3

设置简单查询功能(没有函数、没有排序功能)，不会生成MR作业，而去HDFS上查询

hive> set hive.fetch.task.conversion=more;

1 2	执行条件查询没有进行MapReduce查询 hive> select cookieid,createtime from win;

hive> select cookieid,createtime from win where url is null;

使用distinct来去掉重复记录
select distinct createtime from win;

过滤、排序

hive> select  createtime from win where url='url6';

使用explain查看语句执行计划

hive> explain select createtime from win where url='url6';