StarRocks Join 倾斜和内存不足怎么处理?Spill 能解决哪些问题?
这道题考什么
这道题考的是先诊断再治理。面试官不希望只听到“加盐、扩容、开启 Spill”。热点键、错误 Broadcast、重复键扇出和并发挤占,处理方式并不相同。本文以 StarRocks 3.5 为基线;Spill 按该版本支持的算子讨论,不把它当成无限内存。
一句话回答
先用 Profile 区分倾斜、构建侧过大和并发内存压力,再减少数据、修正 Join 计划与键分布;Spill 只为支持的算子以磁盘 I/O 换取更低内存,不能修复关联语义、消除热点或保证所有 OOM 都成功。