分桶建了,Join 没变快?
面试官问:Hive 的分区和分桶,有什么区别?你答:分区是目录,分桶是文件。面试官接着追问:分桶对 Join 有什么优化?你们建了分桶,Join 为什么没变快?大部分人卡在这。今天从目录结构讲到 SMB Join,一次讲清。
一句话回答:分区在 HDFS 目录级别,按列值把数据切成不同文件夹,解决 WHERE 过滤的扫描量。分桶在文件级别,按列的哈希值切成固定数量的文件,解决 Join 优化和数据采样。分区面向过滤,分桶面向关联,两者可以同时用。
先看分区。一张订单表按 dt 日期分区,HDFS 上每一天就是一个子目录,一年 365 个。查询带上 WHERE dt 等于十月一号,Hive 只扫这一个目录,其他 364 个碰都不碰。这就是分区裁剪。一年 3.65 亿条,只扫 100 万条,扫描量减少 99.7%。就像图书馆按楼层分类,找经济类的书直接上四楼,不用一层层翻。
再看分桶。在十月一号这个目录里,按 user_id 分 4 个桶:哈希值对 4 取模,余几就进几号桶。关键性质:同一个 user_id,一定落在同一个桶文件里,这对 Join 意义重大。建表用 CLUSTERED BY 指定分桶列和桶数,比如 32 个;写入前打开 enforce bucketing。就像快递按手机尾号分十个筐,尾号 3 的全在 3 号筐,找快递只翻那一筐。
核心区别有三个。第一,作用层级:分区操作的是目录,分桶操作的是目录里的文件。两者可以叠加:表下面先按日期分目录,每个目录里再按 user_id 分成 4 个桶文件。
第二,解决的问题:分区解决 WHERE 过滤,本质是粗粒度的数据跳过;分桶解决 Join 和采样。普通 Join,两张表都要按 user_id Shuffle,全量数据走网络重新分发。如果订单表和用户表,都按 user_id 分成相同数量的桶,桶 0 只和桶 0 Join,桶 1 只和桶 1 Join,不用再 Shuffle。桶对得上,就能走 Bucket MapJoin,每对桶各做一次 MapJoin,原理见第 8 期。再加上桶内按 Join Key 排序,就是 SMB Join:两个有序的桶顺序归并,内存更省。所以 SMB 要三个前提:同列、同桶数、桶内有序。满足后 Join 变成本地归并,快几倍到几十倍。记一句:分区减少的是扫描量,分桶减少的是 Shuffle 量。
第三,数量怎么定:分区数由数据决定,365 天就是 365 个分区,1000 个城市就是 1000 个。分桶数由你指定,INTO 32 BUCKETS,不管多少行,永远 32 个文件,建表时就定死。
对比卡再补两点:分区几乎每张表都有,分桶只用在特定优化场景。分区大小天的数据量可能差很多,分桶靠哈希打散,相对均匀。但同一个热点 Key 还是落进同一个桶,分桶键选到热点照样倾斜,第 19 期讲过。
补充一:分区不是越细越好。按天、城市、渠道三级分区,365 乘 100 乘 10,就是 36.5 万个目录。每个目录只有几百条,全是小文件,NameNode 内存被撑爆;只按天分区,每个目录几百 MB,刚好。分区列选三条:选高频过滤条件,比如 90% 的查询都带 dt;基数别超过几千,超了考虑分桶;数据尽量均匀,避免大小分区。
补充二:分桶天然适合采样。哈希把数据打散,取一个桶,就是 N 分之一的随机样本。TABLESAMPLE 取 1 OUT OF 32,读 1 个桶,约 3.125%;改成 1 OUT OF 8,读 4 个桶,12.5%。非分桶表只能随机扫,分桶表直接读指定桶文件,又准又快。数据探索、AB 分组、调试 SQL 都用得上。
补充三:静态分区,写入时手动指定分区值;动态分区,打开开关、设成非严格模式,由 SELECT 最后一列的值自动决定分区。方便但有风险:数据里有 1000 个日期,就建 1000 个目录,小文件跟着暴涨。记得用 max dynamic partitions 限制分区数;小文件怎么治,看第 13 期。
串成决策树:瓶颈在 WHERE 扫描,就按 dt 这类高频过滤列分区;基数上万,改分桶或降粒度。瓶颈在 Join 的 Shuffle,就两表按 Join Key 分相同桶数并排序;桶数不一致,退化成普通 Join。两个都有,就先按 dt 分区,分区内再按 user_id 分桶。
最后四个追问。一:桶数设多少?先看文件大小,一个桶一个文件,理想是 128 到 256 MB。分区 4 GB,设 32 个桶,每桶 128 MB 正好;1024 个桶,每个 4 MB,成了小文件;只设 2 个桶,每个 2 GB,一个 Map Task 跑太慢。再看 Join 对齐:两表桶数要一致,或成整数倍,频繁 Join 的表统一设 32 或 64。二:分区裁剪什么时候失效?一是分区列被函数包住,比如 year(dt) 等于 2026,Hive 反推不出 dt。要改成范围:dt 大于等于 2026 年 1 月 1 号,并且小于 2027 年 1 月 1 号。二是分区列参与表达式计算,比如用 concat 拼;三是用子查询当分区条件,有些版本不裁剪。用 EXPLAIN DEPENDENCY 验证,列出的不是全部分区,就说明裁剪生效了。三:分桶表写入有什么不同?要按桶列做哈希分发,多一次 Shuffle。打开 enforce bucketing 自动处理;不开,就得在 INSERT 里手动加 CLUSTER BY user_id。注意 LOAD DATA 只搬文件、不分桶:元数据写着 32 个桶,目录里可能只有 1 个文件。写入慢一些,但这是一次性的 ETL 成本,换来之后每次 Join 加速。四:Spark SQL 写 Hive 分桶表的坑:Spark 用 Murmur3 哈希,Hive 用 hashCode,算法不同。桶对不上,SMB Join 就不生效,这正是建了分桶、Join 没变快的常见原因。解法三个:Spark 里先按 user_id repartition 成 32 份再写;或者交给 Hive on Tez、MR 来写;或者在 Spark 3.1 以上,把 convertMetastoreOrc 设成 false,走 Hive 的分桶写入逻辑。
面试就按三层答:物理层级、解决的问题、使用频率,最后落到你项目里的表。收尾加一句:建完分桶,用 EXPLAIN 确认真的走了 SMB Join,别靠猜。