Hive 小文件问题

只背一个参数?一追问就露馅

章节

  • 0:00 开场
  • 0:18 一句话回答
  • 0:37 危害 ① · NameNode 内存
  • 1:13 危害 ② · Map Task 爆炸
  • 1:44 危害 ③ · 磁盘寻址
  • 2:04 元凶 ① · 动态分区
  • 2:30 元凶 ② ③ · 追加写 / 碎片源
  • 2:53 方案 ① · 防
  • 3:24 方案 ② · 治
  • 3:52 方案 ③ · 调
  • 4:23 补充概念
  • 5:01 完整决策树
  • 5:16 高频追问
  • 6:11 面试回答模板

文稿

开场

面试官问:Hive 小文件问题,怎么解决?你答:开 CombineHiveInputFormat,读的时候合并。面试官追问:小文件从哪来?危害多大?已经产生的怎么治?只背一个参数,一追问就露馅。今天把 Hive 小文件讲透。

一句话回答

一句话答案,三个字:防、治、调。防,从源头少产生:合理分区,少用 INSERT INTO。治,是合并已有的小文件:CONCATENATE,或者回写一遍。调,是配参数,让 Hive 自动合并输出。

危害 ① · NameNode 内存

先看危害。小文件是颗定时炸弹,第一炸:NameNode 内存。第6期讲过,写文件先要到 NameNode 登记。每个文件、每个 Block,都在它内存里占一条元数据,不论大小,约150字节。同样128MB数据,拆成1000个小文件,元数据就翻了1000倍。NameNode 内存通常64到128GB,上亿个小文件就能把它吃满。内存一满,集群写不进新文件,任务全部卡死。就像图书馆目录柜:一本书拆成一千页,目录卡直接塞爆。

危害 ② · Map Task 爆炸

第二炸:Map Task 爆炸。Hive 默认一个文件或一个 Block,对应一个 Map Task。一万个小文件,就要启动一万个 Task。每个都要申请 Container、启动 JVM、初始化,再计算、销毁。几十KB的数据,启动比计算还久。同样的数据,10个大文件5分钟跑完;一万个小文件,排队2小时。99%的时间花在调度上,像用自行车搬一吨货,跑路比搬货还累。

危害 ③ · 磁盘寻址

第三炸:磁盘寻址。顺序读约200MB每秒,可每次寻址要10毫秒。读一个128MB的大文件,寻址一次,共650毫秒,寻址只占1.5%。读1000个128KB的小文件,寻址1000次,要10.6秒,寻址占了94%。

元凶 ① · 动态分区

小文件从哪来?三个元凶。第一,也是最常见的:动态分区写入。365天乘100个城市,就是36500个分区,而 Reduce 只有200个。每个 Reduce 要写约182个分区,每个分区只落下一个几MB、甚至几KB的小文件。分区越细越严重,三级分区,轻松产生几十万个小文件。

元凶 ② ③ · 追加写 / 碎片源

第二,频繁 INSERT INTO。每跑一次,就新增一批文件,不和旧的合并。每小时跑一次,一天24批,一个月720批,累积起来就是几千个小文件。第三,数据源本身就碎。Flume 从 Kafka 落到 HDFS,每5分钟一个文件。一天288个,一个月8640个。

方案 ① · 防

对症下药,先说防。第一,分区别太细。只按天,一年365个分区;再加城市、渠道、小时,能膨胀到876万个,每个只剩几KB。问问自己:真需要四级分区吗?天加城市两级够不够?第二,INSERT OVERWRITE 代替 INSERT INTO:覆盖写,文件不会越堆越多。第三,DISTRIBUTE BY 分区键,让同一分区进同一个 Reduce,每个分区只出一个文件。

方案 ② · 治

再说治:已经有的小文件,合并掉。方法一,ALTER TABLE CONCATENATE,把小文件合成接近 Block 大小的大文件。简单粗暴,但只支持 ORC 和 RCFile。方法二,INSERT OVERWRITE,把分区读出来再写回去,任何格式都行,笨但通用。方法三,hadoop getmerge 直接合并,只适合一次性清理。一万个小文件,合并完只剩10个大文件。

方案 ③ · 调

最后是调,最省心:配好参数,让 Hive 在任务结束时自动合并。Map-only 任务的输出合并默认开启;MapReduce 任务默认关闭,建议打开。原理:任务跑完,输出文件平均小于16MB,就再起一个合并任务,合成256MB的大文件。读取端还有 CombineHiveInputFormat,把多个小文件打包给一个 Map Task。它不减文件数,只减 Task 数;再配 split 大小上限,控制每个 Task 的数据量。

补充概念

补充三个概念。第一,Block 默认128MB,但一个10KB的文件,不会占128MB磁盘。所以浪费的不是磁盘,是 NameNode 内存和调度。文件最好接近128到256MB。第二,ORC 和 Parquet 自带索引和统计信息,约1KB。存128MB时可以忽略,存128KB就接近1%,列存优势发挥不出来,所以更该合并。第三,Spark 写 Hive 表也有小文件:每个 Task 默认输出一个文件。写前用 repartition 或 coalesce 控制文件数,coalesce 不触发 Shuffle,更轻。

完整决策树

串成决策树。先问:小文件是正在产生,还是已经存在?正在产生就防,已经存在就治,ORC 用 CONCATENATE,其他格式回写;两者都有,防治调一起上。

高频追问

再看四个高频追问。一:CombineHiveInputFormat 和合并参数,有什么区别?前者在读取端,不减文件只减 Task,治标;后者在写入端,物理合并,治本。两个都开。二:动态分区怎么避免小文件?DISTRIBUTE BY dt、city,每个分区只由一个 Reduce 输出。还可以加 SORT BY 让分区内有序,或开 strict 模式,强制至少一个静态分区。三:合并影响下游吗?先写 staging 临时目录,再 rename 原子替换。但删旧文件和 rename 之间仍有空隙,所以放在调度空窗期执行。四:怎么监控?看 NameNode 总文件数,到千万级就要警惕。再看表的平均文件大小,小于10MB就有问题;简单任务起上千个 Map Task,多半也是小文件。写个定时脚本扫描,超阈值就告警,或自动触发合并。

面试回答模板

最后,面试回答模板:防、治、调,三管齐下。防住源头,治掉存量,调好参数让 Hive 自动合并。再补一句:危害最大的是 NameNode 内存,百万级小文件就能把集群写死。

看完去做题