Hive 内部表与外部表

DROP之后,文件还在吗?

章节

  • 0:00 开场
  • 0:26 一句话回答
  • 0:56 痛点一 · 误删数据
  • 2:08 痛点二 · 多引擎共享
  • 3:07 区别一 · 数据所有权
  • 3:58 区别二 · 存储路径
  • 4:52 区别三 · TRUNCATE
  • 5:37 对比表
  • 6:08 补充一 · 互相转换
  • 7:05 补充二 · LIKE 复制结构
  • 7:38 补充三 · 判断表类型
  • 8:15 建表决策树
  • 8:53 面试回答模板
  • 9:40 高频追问
  • 11:18 一句话记住

文稿

开场

同样一句 DROP TABLE,一张表连 5PB 文件一起删掉,另一张表的文件纹丝不动。差别只在建表时,有没有写 EXTERNAL 这一个关键字。面试官问:Hive 内部表和外部表,有什么区别?只答一句「内部表删数据,外部表不删」,是不够的。他想听三件事:为什么要分两种表,什么场景用哪种,生产上你怎么选。

一句话回答

一句话回答:区别在于,谁管数据的生死。内部表,Hive 全权管理:元数据和数据文件都归它,DROP 时一起删。外部表,Hive 只管元数据:DROP 只删表定义,数据文件留在原地。原稿说生产上九成以上用外部表,这个比例没有公开统计,别当成结论背。更稳的说法是:团队规范通常要求核心表、共享表建成外部表,内部表多用于 ETL 中间表和临时表。

痛点一 · 误删数据

先看第一个痛点:一条 DROP,误删海量数据。核心订单表攒了 5PB 历史数据,存在 HDFS 上。新同事调试时,顺手执行了 DROP TABLE orders。如果它是内部表,元数据删掉的同时,warehouse 下的 orders 目录,连同所有 ORC 文件,也一起删除。想补救,只能靠 HDFS 快照,或者从源系统重新拉数,把三个月的 ETL 重跑一遍。补一个细节:集群开了 HDFS 回收站,又没加 PURGE,文件会先挪进用户的 .Trash 目录。保留期内还能挪回来;一旦加了 PURGE,或者表设了 auto.purge,就是直接永久删除。如果它是外部表,DROP 只删掉 Metastore 里的一条记录,/data/orders 下的文件纹丝不动。再执行一次 CREATE EXTERNAL TABLE,指向同一个 LOCATION,表就回来了。但 orders 是分区表,重建后还要跑 MSCK REPAIR TABLE,把分区重新登记进元数据,才查得到数据。打个比方:内部表像存在公司电脑里的文件,电脑一收走,文件一起没了。外部表像公司电脑挂载的 NAS 网盘,电脑收走了,NAS 上的文件还在。

痛点二 · 多引擎共享

第二个痛点:Hive、Spark、Presto,都要读同一份数据。Hive 跑离线 ETL,Spark 做特征工程,Presto 做即席查询,读的都是同一份用户行为日志。用内部表,路径由 Hive 自动分配,比如 warehouse 下的 mydb.db/user_logs。Spark 想读,要么先去 Metastore 查路径,要么把这串长路径写死在代码里。原稿说「换了库名,路径跟着变」,这里更正一下:Hive 不支持给数据库改名。真正会搬家的是内部表改名:用默认路径建的内部表一 RENAME,目录也跟着挪走,写死路径的作业就读空了。用外部表,你自己写 LOCATION /data/logs/user_logs,路径你说了算。Spark 可以直接按路径读文件,不依赖 Hive 的元数据;三个引擎各自建表,指向同一份数据。就像把文件从自己桌面,挪到公共共享文件夹:谁都能访问,路径统一。

区别一 · 数据所有权

下面看核心区别。第一,数据所有权:谁拥有数据?内部表,Hive 说了算。数据的户口在 Hive 手里:它建目录、管文件,删表时一并清理。建内部表不用加关键字,CREATE TABLE 默认就是内部表,比如这张按 dt 分区、ORC 存储的 orders。建好后,Hive 在 warehouse 下自动建出 orders 目录,后续写入的文件都放在这里。一旦 DROP,元数据和这个目录会被一起删除。外部表,你说了算。Hive 只登记一条元数据,文件位置由 LOCATION 指定,Hive 不负责删除。建表时写上 EXTERNAL 关键字,再用 LOCATION 指向 /data/logs/user_logs。DROP 外部表,只删 Metastore 中的记录,目录和里面的文件完好无损。

区别二 · 存储路径

第二,默认路径,和 LOCATION 指定的路径。内部表的默认路径,由 hive.metastore.warehouse.dir 决定,默认是 /user/hive/warehouse。表放在「库名点 db」目录下:prod 库的 orders 表,就在 warehouse 下的 prod.db/orders。default 库是例外,它的表直接放在 warehouse 根目录下,所以前面的 orders 没有 .db 这一层。外部表一般显式写 LOCATION,按业务域组织,比如 ods、dwd 各一个目录。关键点:内部表也能指定 LOCATION,但 DROP 时,Hive 照样把那个路径下的数据删掉。比如给 temp_orders 指定 /custom/path/temp_orders,DROP 之后,这个目录和文件一样被删。LOCATION 只决定数据放在哪,不决定谁管它的生死。想保护数据,靠的是 EXTERNAL,不是 LOCATION。

区别三 · TRUNCATE

第三,TRUNCATE:清空数据,保留表结构。内部表支持 TRUNCATE。开了回收站,清掉的文件进 .Trash;表设了 auto.purge,就直接删除。外部表默认不行,会报错:Cannot truncate non-managed table。原稿说 Hive 3 以后,设置一个允许清空外部表的参数就行。这个说法要更正。Hive 3.1.3 和 4.0.0 的源码里,都没有这个参数;3.1.3 对所有非内部表一律拒绝。到 Hive 4.0.0 才放开:外部表设了 external.table.purge 等于 true,或者语句末尾加 FORCE,才能清空。而官方 DDL 文档还写着只支持内部表,文档和代码不同步,生产上以实际版本为准。

对比表

把前面讲过的几点,放进一张对比表。关键字、DROP 行为、所有权、路径、TRUNCATE,一行一行对一下。表里还有三行要单独说。场景:内部表适合 ETL 中间表、临时表;外部表适合生产数据表、共享数据表。安全性:外部表 DROP 不丢文件,但它只防误删表,不防有人直接改目录里的文件。使用比例这一行,原稿写的是一九开,我们不给固定数字,只记一条:核心表默认建外部表。

补充一 · 互相转换

补充概念一:内部表和外部表,可以互相转换。线上偶尔会遇到:表建错了类型,数据已经导了几百 GB,不可能重建表、重导一遍。用 ALTER TABLE 改表属性:EXTERNAL 设为 TRUE,内部表转成外部表,给数据加一层保护。设为 FALSE,外部表转回内部表。要谨慎:转完以后再 DROP,数据就会被删。转换不会移动或复制文件,数据还在原来的路径,变的只是 Metastore 里的表类型标记。版本坑:Hive 2.x 比较的是大写字符串,只认 TRUE,写成小写 true 会静默不生效。Hive 3.0 起改成按布尔值解析,大小写都行。官方文档标的是 2.4.0,但 2.x 正式版只发到 2.3。还有一个限制:已经是 ACID 事务表的内部表,不能这样直接改成外部表。改完用 DESCRIBE FORMATTED 看 Table Type,确认是 MANAGED_TABLE 还是 EXTERNAL_TABLE。

补充二 · LIKE 复制结构

补充概念二:只想复制表结构、不要数据,用 LIKE。CREATE TABLE orders_backup LIKE orders,复制字段、分区和存储格式,但一行数据都不复制。注意,不写 EXTERNAL,LIKE 出来的就是内部表,即使源表是外部表;3.1.3 和 4.0.0 的源码都是这样处理的。要复制成外部表,就显式写 CREATE EXTERNAL TABLE LIKE,再指定一个独立的 LOCATION。如果这个目录里本来就有文件,新表一建好就能读到它们,所以要指向一个干净的目录。

补充三 · 判断表类型

补充概念三:接手一张陌生表,第一件事,是看它是内部表还是外部表。执行 DESCRIBE FORMATTED orders,输出里重点看两行。Table Type 是 MANAGED_TABLE,就是内部表;是 EXTERNAL_TABLE,就是外部表。Location 这一行,是数据实际存放的路径。内部表 DROP 会删数据,操作要小心;外部表 DROP 不删数据,相对安全。但还要看一眼表属性:Hive 4 里,外部表设了 external.table.purge 等于 true,DROP 也会删文件。最后都要看 Location,确认数据路径,再决定能不能动它。

建表决策树

把这些串起来,就是一棵建表决策树。第一问:数据是不是由外部系统产生或管理?比如 Flume、Kafka、Sqoop 导进来的,用外部表。第二问:要不要多引擎共享?Spark、Presto 也要读,用外部表。第三问:只有 Hive 用时,看生命周期。长期保留的核心业务表,用外部表;用完即弃的临时中间表,用内部表。外部表用 LOCATION 指定路径,比如 /data/dwd/orders;内部表走默认的 warehouse 路径。最后选存储格式,ORC 或 Parquet,加 Snappy 压缩,建表完成。

面试回答模板

面试时可以这样回答。核心区别在数据所有权:内部表由 Hive 管理生命周期,DROP 时元数据和文件一起删。外部表 Hive 只管元数据,DROP 后文件保留。生产上,我们的核心表、共享表都建外部表,原因有三。第一,安全:外部表误删后,重建表、修复分区就能恢复。第二,多引擎共享:一个统一的 LOCATION,各引擎各自建表指向它。第三,数据与计算解耦:数据可能由 Flume 或 Sqoop 导入,Hive 只是读取方之一,不该握着数据的生杀大权。内部表只用于 ETL 临时中间表,用完就删。建表规范统一是:外部表,加 LOCATION,加 ORC,加 Snappy。

高频追问

最后是四个常见追问。追问一:内部表指定了 LOCATION,DROP 时数据还会被删吗?会。想防误删只能用外部表,核心业务表必须用 CREATE EXTERNAL TABLE。追问二:两种表能互转吗?能,只改元数据里的类型标记,不搬文件。方向通常是内部转外部,老版本记得写大写 TRUE。追问三:外部表不写 LOCATION 会怎样?可以建,默认落到 warehouse 下,和内部表一样。Hive 3 起,如果配了外部表专用的 warehouse 目录,就落到那里;Hive 4 还会看数据库的 LOCATION。但这样就丢了外部表最大的优势:路径可控。DROP 后文件留下,没有表指向它们,久了变成难清理的孤儿文件。所以生产规范是:外部表必须显式写 LOCATION,按 ods、dwd、dws 这样的业务域组织路径。追问四:Hive 3 对两种表有什么变化?原稿说内部表默认开启 ACID,这要分发行版。Apache Hive 3 默认并不开启:hive.create.as.acid 默认是 false。HDP 3、CDP 这类发行版,才把内部表默认建成事务表。完整 ACID 表支持 UPDATE 和 DELETE,必须用 ORC。非 ORC 的内部表,只能建成仅支持插入的事务表;外部表则不支持 ACID。在开了事务的 Hive 3 环境里,如果非 ORC 的内部表遇到兼容问题,要么改用 ORC,要么改成外部表。外部表 TRUNCATE 和 EXTERNAL 大小写,前面已经更正过。还要补上 Hive 4 的 external.table.purge:它让外部表 DROP 时也删文件。

一句话记住

一句话记住:内部表,Hive 管数据的生死;外部表,Hive 只管元数据。LOCATION 决定数据放在哪,EXTERNAL 才决定删表时文件留不留。删表之前,先 DESCRIBE FORMATTED,看一眼类型、路径和属性。

看完去做题