玖叶教程网

遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。

执行以下hive

SELECT

sid,

??class_id

FROM

??table2

ievGROUP?BY?sid?;

会报错：

SELECT

查了一下，HIVE有这么一个函数collect_set，类似于mysql的group_concat函数，把每个分组的其他字段，按照逗号进行拼接，得到一个最终字符串：

collect_set(col)

返回类型：array

解释：返回一个去重后的对象集合

将上述的QL语句改一下：

select?sid,collect_set(class_id)?from?table2?group?by?sid;

结果是这样的：

[11,12,13]

[11,14]

[12,15]

[12,13]

[16,14]

[13,15]

这个时候，我们就可以针对第二列做一些计数、求和操作，分别对应到Hive的聚合函数count、sum。

对应到本文的目的，直接从数组获取第一个元素就达到目的了，这样做：

select?sid,collect_set(class_id)[0]?from?table2?group?by?sid;

结果如下：

1 11

2 11

3 12

4 12

5 16

713

总结：

1. Hive不允许直接访问非group by字段；
2. 对于非group by字段，可以用Hive的collect_set函数收集这些字段，返回一个数组；
3. 使用数字下标，可以直接访问数组中的元素；

参考文章：http://wangjunle23.blog.163.com/blog/static/117838171201310222309391/

本文地址：http://www.crazyant.net/1600.html