SELECT count(DISTINCT orderid) FROM test.subOrderAllDetail
map 阶段的key 会全部汇总在一个reduce 上，导致一个reduce 处理所有数据。reduce 个数只有一个。不管你怎么设置参数：set mapred.reduce.tasks=100，实际执行任务的reduce 只有一个。
优化：
SELECT count(orderid)
FROM
(SELECT DISTINCT orderid
FROM test.subOrderAllDetail)tmp;
map 阶段对key 进行去重，在不同的task 上去重。之后发送到不同的reduce，reduce 个数不一定只有一个。可以通过set mapred.reduce.tasks=n 设置。
从而达到并行执行。
SELECT count(DISTINCT orderid) FROM test.subOrderAllDe...
SELECT date_str, count(distinct if(new_id=1, device_id, n...
UNION 关联 select count (distinct user_id) from (select use...
COUNT(DISTINCT xxx) 在hive中很容易造成数据倾斜。针对这一情况，网上已有很多优化方法，这里不...
Hive是Hadoop的子项目，它提供了对数据的结构化管理和类SQL语言的查询功能。SQL的交互方式极大程度地降低...
1 null值注意 count数据丢失null值行 distinct数据丢失当使用count(distinct c...
Hive中SQL的优化技巧，核心思想是避免数据倾斜。 1、避免在同一个查询中同时出现count, distinct...
Distinct的实现原理 select dealid, count(distinct uid) num from...
select distinct count(*) AS count, VL_GUESTNAME from T_VI...
高级查询 常用的分组函数 COUNT MIN MAX SUM AVG COUNT COUNT( [DISTINCT...
本文标题：Hive count(DISTINCT id )
本文链接：https://www.haomeiwen.com/subject/bfoadltx.html
网友评论