Hive日志分析

发布 : 2016-02-12 分类 : 大数据 浏览 :

基站掉话率分析

1
2
3
4
5
record_time:通话时间
imei:基站编号
cell:手机编号
drop_num:掉话的秒数
duration:通话持续总秒数

目标

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
找出掉线率最高的基站

掉线率(CDP)=掉话的秒数(drop_num)/通话持续总秒数(duration)
``

## 数据

![](http://7xqkk1.com1.z0.glb.clouddn.com/16-3-12/74636989.jpg)

## 分析

```bash
1.在hive中创建表

2.将数据加载到刚在Hive创建的表中

3.查询数据并将hive查询出来的数据导出到指定文件夹下

如何使在mysql下有这种需求:

1
select *,drop_num/duration as cdp from cdr order by cdp desc limit 1;

1.在hive中创建表

1
2
hive> create table tcdr(record_time varchar,imei int,cell varchar,ph_num int,call_num int,drop_num int,duration int,drop_rate int,net_type string,erl int)
row format delimited fields terminated by ',';

2.将数据加载到刚在Hive创建的表中

1
hive> load data inpath 'hdfs:///usr/matrix/input/cdr_summ_imei_cell_info.csv' into table tcdr;

3.查询数据并将hive查询出来的数据导出到指定文件夹下

1
2
3
hive> insert overwrite local directory '/opt/modules/hive-1.2.1/cdp'
row format delimited fields terminated by ','
select *,drop_num/duration as cdp from tcdr order by cdp desc limit 1;

4.查看数据查询结果

1
2
[root@node1 ~]# cd /opt/modules/hive-1.2.1/cdp
[root@node1 cdp]# cat 000000_0

本文作者 : Matrix
原文链接 : https://matrixsparse.github.io/2016/02/12/hive日志分析/
版权声明 : 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

知识 & 情怀 | 二者兼得

微信扫一扫, 向我投食

微信扫一扫, 向我投食

支付宝扫一扫, 向我投食

支付宝扫一扫, 向我投食

留下足迹