ORDER BY 跑了一整夜
凌晨两点,一条导出订单的 Hive SQL,ORDER BY 跑了一整夜。几百个 Mapper 早就结束,只剩一个 Reducer,在给一亿行数据排队。面试官问:ORDER BY、SORT BY、DISTRIBUTE BY 和 CLUSTER BY,有什么区别?只背全局排序、局部排序,一追问就卡住。今天一次讲清。
一句话回答:ORDER BY 保证全局有序;SORT BY 只保证每个 Reducer 内部有序。DISTRIBUTE BY 只决定数据发往哪个 Reducer。CLUSTER BY x,等价于 DISTRIBUTE BY x 加 SORT BY x 升序。
四个子句看着都和顺序有关,其实只在组合两个动作。分发:一条数据进哪个 Reducer,由 DISTRIBUTE BY 控制。排序:进了 Reducer 按什么顺序排,由 SORT BY 控制。就像快递分拨:先定包裹去哪个仓,是分发;每个仓按地址排好,是局部排序。全国包裹送到一个总站排成一队,才是全局排序。Reduce 端按 Key 分区、排序的底层原理,看第 15 期 MapReduce Shuffle。
先看 ORDER BY:从第一行到最后一行,必须有唯一的整体顺序。传统 Hive 执行模型下,最终排序要汇进一个 Reducer,上游 Mapper 再多,最后也是单点。比如一亿条订单,按 GMV 降序全量排序。如果只要 GMV 最高的 100 笔,就带上 LIMIT。引擎可以先在局部保留候选 TopN,再汇总少量结果,比全量排序合理得多。ORDER BY 不是不能用,先确认业务真要全局有序。报表 TopN 适合它,海量明细落盘通常不值得。
再看 SORT BY:每个 Reducer 的输出,各自按 pay_time 排好序。比如四条订单分到两个 Reducer:一号是 08:50、10:20,二号是 09:10、09:30。每个文件内部都升序,但值域互相重叠,合起来不是全局有序。就像每个考场都按成绩排了座位,但一号考场第一名,不一定比二号考场的高。它适合输出多个文件内有序的大结果集,还保留了并行度。但单独用 SORT BY,不保证同一个 user_id 进同一个 Reducer。要同用户聚在一起再排序,就得搭配 DISTRIBUTE BY。
DISTRIBUTE BY user_id,按表达式算去向,相同用户进同一个 Reducer。它只管去哪,不管进去后怎么排,Reducer 内部顺序不确定。就像按小区分仓:同小区的包裹进同一个仓,但仓里还没按门牌排好。典型用法:DISTRIBUTE BY user_id,再 SORT BY user_id、pay_time 降序。这就是二次排序:先按用户聚集,用户内再按时间倒序,CLUSTER BY 做不到。用 DISTRIBUTE BY 控制输出文件数、治理小文件,第 13 期讲过。
最后是 CLUSTER BY:分发和排序是同一字段、并且升序时的简写。CLUSTER BY user_id,等价于 DISTRIBUTE BY user_id 加 SORT BY user_id 升序。多个 Reducer 并行输出,每个文件局部有序,整体仍不保证全局有序。两个边界:只能用同一组字段,只能升序。要降序或换排序字段,就拆开写。
四者放在一起,对比表不用逐行背,抓两点。第一,只有 ORDER BY 全局有序,代价是最终阶段并行度低;另外三个都能多 Reducer 并行。第二,风险不同:ORDER BY 怕单点瓶颈,DISTRIBUTE BY 怕数据倾斜。SORT BY 和 CLUSTER BY,最怕被误当成全局有序。
再看三个容易混的概念。一,DISTRIBUTE BY 不是表分区 PARTITIONED BY。前者是运行时的 Shuffle 重分发;后者决定数据落在哪个分区目录,管长期存储。二,查询里的 CLUSTER BY,不是建表的 CLUSTERED BY。后者声明的是分桶布局,比如按 user_id 分成 32 个桶。只声明不会自动整理已有数据,写入时还得真正按桶规则组织。三,子查询或视图里的排序,没带 LIMIT,部分 Hive 版本的优化器可能直接移除。真依赖输出顺序,就在最外层明确排序,再看执行计划验证。
用一个导出任务串起来。运营要导出最近一天的订单。同一用户的订单要在同一个分片里,用户内部按支付时间从新到旧。用 ORDER BY pay_time 降序?全局有序,但出口压力大,同一用户也不在一起。只写 SORT BY?文件内时间有序,但同一用户可能散在不同 Reducer。只写 DISTRIBUTE BY?用户聚到一起了,订单时间又是乱的。正确写法是把分发和排序分开表达:用户决定去哪,时间决定先后。它不保证文件一排在文件二前面,但下游按用户批量处理,这比全局顺序实用。所以别先问哪个排序快,先问:要全局排名、文件内有序,还是同 Key 共置?
实际场景怎么选?串成一棵决策树。先问:要不要整个结果全局有序?要,只取前 N 条,就用 ORDER BY 加 LIMIT。全量都要排,也用 ORDER BY,但要评估单点瓶颈和资源。不要全局有序,再问:同 Key 要不要进同一个 Reducer?不要,就用 SORT BY。要同 Key 共置,但不用排序,就用 DISTRIBUTE BY。还要排序:同字段升序用 CLUSTER BY;字段不同或要降序,就拆成 DISTRIBUTE BY 加 SORT BY。
最后看五个常见追问。一:ORDER BY 一定只有一个 Reducer 吗?语义上它必须全局有序,经典执行方式在最终阶段用单个 Reducer,所以容易成瓶颈。引擎可能对 TopN、采样做优化,但别因此当成局部排序,以语义和执行计划为准。二:两个 SORT BY 文件,能不能分别是 1 到 50、51 到 100?不能默认。文件 A 可能是 1、50、90,文件 B 是 2、20、100,各自有序,范围交叉。三:DISTRIBUTE BY 会倾斜吗?会。某个 user_id 占了 40% 的数据,就全挤进一个 Reducer。先分析 Key 分布,再考虑加盐、两阶段聚合或换分发字段,细节看第 19 期。四:CLUSTER BY 和分桶表?概念相关、角色不同;写分桶表,分发规则和桶数要对上表定义。五:何时不用 CLUSTER BY?字段不同、多个排序字段或要降序,就拆开写。
面试就从分发和排序两个维度答,四种 BY 收成这一张卡。只有真要全局排名,才用 ORDER BY;其余场景,用分发加局部排序保住并行度。记住,先想清楚要哪种顺序,再挑那个 BY。