39 道Hive面试题。
Hive On Spark 是 Hive 使用 Spark 作为执行引擎;Spark On Hive 是 Spark SQL 使用 Hive 的元数据和表。 前者是“Hive 当老板,Spark 干活”,后者是“Spark 当老板,Hive…
Hive on Spark是Hive换了个执行引擎(把MapReduce换成Spark),优化器还是Hive的;Spark SQL是Spark自己的SQL框架,有独立的Catalyst优化器和Tungsten代码生成引擎。一个是"老系统换发…
Hive架构的核心是"七大组件 + 四步翻译":用户通过CLI/Beeline提交SQL,经过HiveServer2交给Driver,Driver内部通过解析-编译-优化-执行四步把SQL翻译成MR/Tez作业,提交到YARN执行,从HDF…
三大引擎的本质区别是中间结果怎么传递:MR全部落盘、Tez管道传输、Spark尽量放内存。生产环境HDP/CDP选Tez,CDH选Spark,稳定优先选MR。…
Hive是建在Hadoop上的数据仓库工具,它自己不存数据也不算数据,只负责把SQL翻译成MapReduce/Tez/Spark作业在集群上执行——本质上是一个"SQL翻译官"。…
Hive稳在离线批量,Spark SQL赢在通用性,Impala快在交互查询——三者定位不同,生产中通常混合使用:Hive做T+1离线ETL,Spark SQL做中等规模分析和开发,Impala做BI看板的秒级查询。…
Hive Metastore 高可用通常是多个无状态 HMS 服务实例 + 共享后端元数据库 + 客户端或负载均衡访问;元数据不一致时要先判断是“Metastore 有、HDFS 没有”还是“HDFS 有、Metastore 没有”,再用 …
Table 是 Hive 中的逻辑表及其元数据入口,指向一个存储位置;Partition 按分区字段把表映射到不同目录和元数据条目;Bucket 在每个表或分区内部按哈希把行划分为固定编号的逻辑组;File 是 ORC、Parquet、Te…
分区是在HDFS目录级别按列值把数据切成不同的文件夹,解决的是WHERE过滤时减少扫描量的问题;分桶是在文件级别按列的Hash值把数据切成固定数量的小文件,解决的是JOIN优化和数据采样的问题。分区面向查询过滤,分桶面向表关联——两者可以同…
静态分区适合日常固定ETL,动态分区适合历史数据回刷;Hive从0.14开始支持ACID事务,但有严格限制条件(ORC格式 + 事务表属性),3.x之后限制大幅放宽。…
内部表和外部表的核心区别就一句话:谁管数据的生死——内部表是Hive全权管理(DROP即删),外部表是Hive只管元数据(DROP不删数据文件)。生产环境90%以上用外部表,内部表只用于ETL中间临时表。…
SerDe是Hive读写数据的翻译器,决定了怎么把HDFS上的字节流解析成行和列;数据格式选择的核心原则是:Hive专用选ORC,跨引擎选Parquet,临时调试用TextFile。…
Hive加载数据有4种方式(LOAD DATA/INSERT SELECT/CTAS/直接HDFS put),核心区别在于是否触发计算引擎;分桶按Hash均匀分文件、用于优化Join和采样;分区字段要选WHERE条件中高频出现且基数适中的字…
Hive数据类型分基本类型、复杂类型、类型转换三大块,实际开发中最容易出问题的不是类型本身,而是NULL值的传播性——NULL参与任何运算结果都是NULL,不处理好就会让你的指标全变成空。…
Hive ACID 事务是通过事务管理器 + ORC 事务表 + base/delta 文件 + Compaction 合并来支持 Insert、Update、Delete 的机制,本质不是像 MySQL 那样原地改行,而是用追加文件记录变…
ORC 查询快的核心原因是列式存储减少无关列读取,Stripe/Row Group 统计支持跳过无关数据块,压缩编码降低 IO,Bloom Filter 能加速高选择性等值过滤。…
Gzip 压缩率较高、兼容性好,但裸 Gzip 文本通常不可切分,适合交换或冷归档;Snappy 追求低 CPU 和高速解压,适合高频读写的 ORC/Parquet 热数据;LZO 速度快且可通过索引支持文本切分,但依赖原生库和索引维护,更…
SQL的书写顺序和执行顺序不同,实际执行从FROM开始、SELECT在倒数第三步才执行;CTE(WITH AS)本质是给子查询起名字,让嵌套SQL变成线性的、可复用的结构。…
UDF、UDAF、UDTF本质上是Hive提供的三种扩展能力——UDF处理一行变一行(如脱敏、格式化),UDAF处理多行变一行(如自定义聚合),UDTF处理一行变多行(如自定义展开),开发时分别继承不同的基类,最常用也最简单的是UDF。…
窗口函数是在分组内做计算但不合并行的利器,用OVER(PARTITION BY ... ORDER BY ...)定义"窗口",核心是4类函数:排名、偏移、聚合、分布;Hive常用函数分6大类:字符串、日期、条件、聚合、类型转换、表生成。…
行转列用LATERAL VIEW + explode把一行炸成多行,列转行用collectlist/collectset + GROUP BY把多行收成一行,二者互为逆操作。…
ORDER BY 保证全局有序;SORT BY 只保证每个 Reducer 内部有序;DISTRIBUTE BY 只决定数据发往哪个 Reducer;CLUSTER BY x 等价于 DISTRIBUTE BY x SORT BY x AS…
Hive Join 的核心选择标准是:大表对大表默认 Common Join,小表对大表优先 MapJoin,两张分桶且桶数兼容的表考虑 Bucket Map Join/SMB Join,存在热点 Key 时要配合倾斜 Join 或拆热点处…
Hive On Spark 下两张 Hive 表 Join 的链路是:Hive 解析 SQL、查 Metastore、生成 Join 执行计划;Spark 读取表数据,按 Join Key 做 Shuffle 或广播小表,把相同 Key 的…
一条Hive SQL的执行经历6个阶段:SQL解析 → 语义分析 → 逻辑计划生成 → 逻辑计划优化 → 物理计划生成 → 提交执行引擎运行。本质上就是把一段人类看得懂的SQL,层层翻译成机器能跑的分布式任务。…
谓词下推是把过滤条件尽量推到离数据源更近的位置执行,分区裁剪是根据分区条件直接跳过不相关目录;两者的共同目标都是少读数据、少传数据、少算数据。…
Hive CBO 是基于成本的优化器,它依赖统计信息估算不同执行计划的代价;ANALYZE TABLE 的价值就是让优化器知道表有多大、列分布怎样、分区数据量如何,从而更合理地选择 Join 顺序、Join 策略、聚合方式和扫描范围。…
MapJoin 的本质是把小表构造成内存 HashTable 分发到每个 Mapper,让大表扫描时在 Map 端完成匹配,从而避免大表按 Join Key Shuffle。…
SMB Join 的全称是 Sort Merge Bucket Join,它要求两张表按 Join Key 分桶,并且桶内按 Join Key 排序,Join 时相同桶直接配对、桶内顺序归并,从而减少 Shuffle 和内存压力。…
Hive 分桶表不一定能生效,因为 CLUSTERED BY 只是声明,真正走 Bucket Join 要满足:数据按 Hive 分桶规则写入、Join 条件使用分桶列、两表桶数相同或兼容、文件布局没有被破坏;如果要走 SMB Join,还…
Hive 有些 SQL 不启动 MapReduce 或 Spark,是因为它们可以通过 Metastore 直接返回、FetchTask 直接读取少量文件、常量表达式直接计算,或者利用可信统计信息得到结果;只有出现 Join、Group B…
Hive EXPLAIN 展示 SQL 编译后的执行计划,经典输出主要包括 Stage Dependencies 和 Stage Plans:先通过依赖图判断哪些 Stage 是根节点、串行还是可并行,再进入每个 Stage 按数据流阅读 …
Hive 的 Mapper 数量主要由 InputFormat 生成的 InputSplit 数量决定,受文件数量、文件大小、Block、可切分性、Split 参数和小文件合并策略影响;Reducer 数量只在需要 Shuffle 的 St…
count(distinct)慢的本质是全局去重只能用1个Reducer,解决方案是改写成GROUP BY子查询让多个Reducer分担压力。内存溢出的排查核心是看日志判断是Map还是Reduce阶段OOM,再对症下药。…
Hive慢的根源是磁盘IO多、Shuffle重、计算链路长,优化的本质就是三个字:少读、少移、快算。…
Hive数据倾斜的本质是某个Key的数据量远大于其他Key,导致一个Reducer处理的数据是其他的10倍甚至100倍。解决方案的核心思路就两个:要么避免Shuffle(Map Join),要么把热点Key打散(加盐)。而优化器RBO靠固定…
Hive小文件问题的解决思路是三个字:防、治、调。防是从源头减少小文件产生(合理分区、减少INSERT INTO),治是对已有小文件做合并(ALTER TABLE CONCATENATE、额外MR任务),调是通过参数让Hive自动合并输出(…
Hive 动态分区是运行时根据查询结果自动生成分区目录;它的坑主要是分区字段位置、strict/nonstrict 模式、动态分区数量失控、每个 Reducer 每个分区都可能写文件导致小文件爆炸。…
Hive 数据倾斜要先定位是 Join、Group By 还是 Count Distinct 倾斜;除了加盐,还可以用过滤空值/拆热点 Key、MapJoin、Skew Join、两阶段聚合、分桶、调整 Reducer 和相关参数来治理。…