视频讲解/ClickHouse

ClickHouse 为什么快

10亿行只读了41万行?

章节

  • 0:00 开场
  • 0:34 一句话回答
  • 0:57 快到什么程度
  • 1:27 维度一 · 列式存储
  • 2:15 维度二 · 极致压缩
  • 3:29 维度三 · 向量化执行
  • 4:43 维度四 · 稀疏索引
  • 6:16 维度五 · 多核并行 + SIMD
  • 7:05 维度六 · 近似计算
  • 7:54 维度六 · 物化视图
  • 8:35 补充一 · 两个短板
  • 9:44 补充二 · Merge 是什么
  • 10:19 补充三 · 和 Hive / Spark 分工
  • 10:57 一条查询走完全链路
  • 11:25 面试回答模板
  • 12:24 追问一 · JOIN
  • 13:20 追问二 · 写入
  • 14:22 追问三 · 怎么选
  • 14:58 追问四 · 实时数据
  • 15:32 回到开头

文稿

开场

同一张 10 亿行订单表,按城市汇总 GMV:Hive 要跑几分钟,ClickHouse 几秒就出结果。两边底层都是列式存储,差距却能到上百倍。这道题在 OLAP 面试里出场越来越多,越来越多公司拿 ClickHouse 做实时看板和即席查询。只答一句因为它是列式存储,远远不够:列存数据库多了去了,凭什么它比别的列存还快?它快的本质,是从存储到计算、再到硬件的全链路优化,能讲出 5 个以上维度的人并不多。

一句话回答

一句话回答:ClickHouse 快,是把单机性能压榨到了极限。列式存储只读需要的列,极致压缩减少磁盘 IO,稀疏索引跳过无用数据;向量化引擎批量处理数据,多核并行加 SIMD 指令,把 CPU 每个时钟周期都用上。它不是靠分布式堆机器取胜,而是单机性能本身就足够强。

快到什么程度

先有个直观感受。同一张 10 亿行订单表,查每个城市的 GMV。Hive on Tez 常见要 3 到 5 分钟,ClickHouse 只要 1 到 3 秒。换成 MySQL,可能要跑几个小时,甚至直接超时。单机每秒扫描上亿行,在 ClickHouse 上是常见量级。这些都是量级示意,具体看硬件、数据和配置;但常见场景下快上百倍到上千倍,并不夸张。它靠的不是某一个单点优化,而是 6 个维度叠在一起。

维度一 · 列式存储

维度一,列式存储:只读你要的列,其他列碰都不碰。这是最基础、也最重要的一层。行式数据库,比如 MySQL,把一行的所有字段连续存在一起。你只查 city 和 amount 两列,它也得把整行读出来,连带 user_name、phone、address 这些用不上的字段。ClickHouse 是列式存储,每一列单独存成文件。查两列就只读两个文件,其余 48 列完全不碰。按 50 列、10 亿行粗算:行存要读约 500GB,列存只读约 20GB,IO 直接减少 96%。前面专题讲过 Parquet 和 ORC,列裁剪的道理是一样的。打个比方:行存像为了找一本书,把整个书架搬过来;列存是直接伸手,把那本书抽出来。

维度二 · 极致压缩

维度二,极致压缩。同一列的数据类型相同,值也高度相似,压缩效率特别高。city 列里,北京、上海、广州反复出现,用字典编码,每个城市名能压成一两个字节的编号。注意,在 ClickHouse 里要把这一列声明成 LowCardinality,才会走字典编码。amount 这类数值列,相邻值差得不多,适合先做 Delta 增量编码,再交给 LZ4 压缩。Delta 这类编码不会自动启用,要在建表时显式写 CODEC。而行存的一行里混着字符串、整数、日期、浮点,类型杂乱,压缩率远不如列存。看一组示意数字:city 列 33 比 1,dt 日期列 40 比 1,amount 列 7 比 1,order_id 列 4 比 1。原始 500GB 的数据,压缩后可能只剩 30 到 50GB,磁盘 IO 再减少九成。压缩算法上,自建 ClickHouse 默认用 LZ4,解压极快;ZSTD 压缩率更高,解压稍慢,ClickHouse Cloud 默认用它。压缩不只是省空间,更重要的是少读磁盘。磁盘是最慢的一环,读得少,查询就快。

维度三 · 向量化执行

维度三,向量化执行:一次处理一批数据,而不是一行。这是 ClickHouse 比 Hive 加 ORC 这类列存方案还快的核心原因之一。传统数据库用火山模型逐行处理:取一行、算一行、输出一行,再取下一行。每处理一行,就要付一次虚函数调用的开销,10 亿行就是 10 亿次调用。调用这么碎,CPU 的分支预测也频繁失败,流水线经常断。ClickHouse 是向量化执行:一次取一批数据组成列向量,批量计算、批量输出。批大小由 max_block_size 控制,默认 65409 行;常说的 8192,其实是索引粒度。哪怕按 8192 行一批算,10 亿行也只要约 12 万次调用,调用次数减少 99.99%。向量化还有两个好处。一批数据在内存里连续排列,对 L1、L2 缓存非常友好。另外可以用 SIMD 指令,一条指令同时处理多个数据。比如 AVX2 一次能比较 4 个 Int64,AVX-512 一次能比较 8 个。打个比方:逐行处理像一块一块搬砖,每块都要弯腰起身;向量化像铲车,一铲就是一堆。

维度四 · 稀疏索引

维度四,MergeTree 引擎的稀疏索引,加上数据跳过。MergeTree 是 ClickHouse 的核心表引擎,它的索引和 MySQL 的 B+ 树完全不同。稀疏索引不给每一行建索引,而是每 8192 行划成一段,叫一个 Granule。索引只记每段开头那一行的主键值,相邻两项就夹出了这一段的范围。看建表:ORDER BY dt, city,先按日期、再按城市排序;PARTITION BY 按月分区。数据按排序键有序存放,稀疏索引才能用二分查找快速定位。现在查:WHERE dt 等于 2024 年 1 月 1 日,并且 city 等于北京。第一步,分区裁剪:12 个月分区只扫 1 月这一个,数据量减少 91.7%。第二步,稀疏索引定位:在索引里二分查找,找出命中的 Granule 范围。1 月大约 1 万个 Granule,只命中 50 个,数据量再减少 99.5%。第三步,只读命中的 Granule:50 乘 8192,实际扫描约 41 万行。10 亿行里只读了约 0.04%,跳过了 99.96% 的数据。为什么不用 B+ 树?因为分析查询多是范围扫描,比如 dt BETWEEN 某天 AND 某天,而不是精确点查。稀疏索引对范围扫描定位很快,而且本身极小。10 亿行只有约 12 万个索引项,量级是几 MB;B+ 树每行一项,量级是几十 GB。

维度五 · 多核并行 + SIMD

维度五,多核并行:一个查询用满所有 CPU 核心。表数据按 Part 存储,Part 内部再按 Granule 划分,不同的数据范围分给不同的核心同时处理。max_threads 默认等于机器的硬件线程数,64 核机器,一个查询就能开 64 个线程。而 MySQL 一个查询,通常只用 1 个线程。理论上 64 核能快 64 倍,实际受内存带宽限制,经验上在 20 到 50 倍。再叠加 SIMD 指令,SSE4.2、AVX2、AVX-512,一条指令同时比较或计算多个数据。很多算子还按指令集编译了多个版本,运行时自动挑最快的那个。向量化加 SIMD,等于把 CPU 每一个时钟周期都利用起来。

维度六 · 近似计算

维度六,近似计算和物化视图:很多场景并不需要精确结果。精确去重 COUNT DISTINCT,在 ClickHouse 里默认走 uniqExact。换成 uniq,用自适应采样做近似去重,官方说它非常精确,速度通常能快好几倍。uniqHLL12 也能近似去重,最大误差约 1.6%,但官方已不推荐,建议用 uniq 或 uniqCombined。分位数要注意:quantile 本身就是近似算法,精确版是 quantileExact,quantileTDigest 也是近似。还能用 SAMPLE 0.1 只采样 10% 的数据,前提是建表时声明了 SAMPLE BY 采样键。示意一下:10 亿行精确去重要 30 秒,近似去重可能 3 秒就出来,对实时大盘完全够用。

维度六 · 物化视图

另一个杀手锏是物化视图:把聚合结果提前算好,查询时直接读。比如建一个物化视图,目标表用 SummingMergeTree,按 dt 和 city 预聚合 GMV 和订单数。注意两点。第一,ClickHouse 的增量物化视图是插入触发器,只处理之后新写入的数据;建视图之前的历史数据,要另外回填。第二,SummingMergeTree 的合并在后台异步进行,同一个城市可能还没合并成一行。所以查询要写 sum gmv 再 GROUP BY city;直接 SELECT city, gmv,可能拿到多行。这样,10 亿行的聚合,查询时只需要读预聚合后的少量行。

补充一 · 两个短板

ClickHouse 也不是万能的,它有两个明显短板。短板一,JOIN。默认算法在内存里用右表建哈希表,右表有几亿行,内存可能直接爆掉。所以最佳实践是宽表设计,把需要的维度提前打宽到事实表里,尽量少做 JOIN。短板二,高并发。它为单个大查询吃满所有 CPU 而设计,大量重查询同时来,就会互相抢资源。常听到的 QPS 100 只是经验值,不是上限;默认不限制并发查询数,能扛多少看每个查询有多重。要扛几千 QPS 的面向用户场景,可以在前面加 Redis 缓存,或者换 Doris、StarRocks。放进一张表对比。单查询性能,ClickHouse 极强;并发能力,Doris、StarRocks 更强。JOIN 上,Doris、StarRocks 有 Colocation Join;实时写入两边都不错,ClickHouse 有合并延迟。运维上,自建 ClickHouse 要手动管分片,Doris、StarRocks 能自动均衡。所以 ClickHouse 适合内部分析、少量用户跑大查询;面向用户的高并发看板,更适合 Doris、StarRocks。

补充二 · Merge 是什么

MergeTree 里的 Merge 是什么意思?ClickHouse 写入时,不是往一个大文件里追加,而是每次 INSERT 生成一个新的 Part,也就是数据片段。后台线程定期把多个小 Part 合并成大 Part,这就是 MergeTree 名字的由来。合并时还会顺带做事:排序合并;ReplacingMergeTree 会去重;SummingMergeTree、AggregatingMergeTree 会做预聚合。这也是它不适合频繁小批量写入的原因:INSERT 太碎,Part 就会爆炸。建议攒批写入,每批至少几万行。

补充三 · 和 Hive / Spark 分工

ClickHouse 和 Hive、Spark,在 OLAP 场景怎么分工?几十亿行的即席查询、低并发的实时大盘看板,用 ClickHouse,秒级返回。PB 级的复杂 ETL 和大规模 JOIN,用 Hive、Spark;面向用户的高并发报表,用 Doris、StarRocks;机器学习特征计算,用 Spark,编程灵活、生态完整。记住:ClickHouse 是 OLAP 查询层,不是来替代 Hive、Spark 这个计算层的。常见架构是:Hive 或 Spark 做 ETL,结果写进 ClickHouse,BI 工具再连 ClickHouse 做交互式查询。

一条查询走完全链路

把一条查询串起来看:SELECT city, sum amount,WHERE dt 等于某一天。先分区裁剪,跳过其他月份;再用稀疏索引找到命中的 Granule,跳过百分之九十九以上的数据。接着只解压 city 和 amount 两列,LZ4 解压极快;然后向量化执行,一批一批处理,SIMD 加速;最后多核并行扫描、合并结果,10 亿行在常见场景下 1 到 3 秒返回。

面试回答模板

面试怎么答?先给结论:ClickHouse 快,是从存储到计算到硬件的全链路优化。存储层:列式存储只读用到的列,50 列查 2 列,IO 减少 96%;同一列类型相同,压缩率可达十到几十倍,磁盘读取量再减九成。索引层:MergeTree 稀疏索引每 8192 行一个索引项,配合分区裁剪,10 亿行实际只扫不到 0.1%。计算层:向量化执行一次处理一批数据,函数调用次数大幅减少,再配合 SIMD,一条指令处理多个数据。硬件层:自动用满所有 CPU 核心,64 核机器,一个查询就能开 64 个线程。再补一句:能接受近似就用 uniq,高频聚合就用物化视图提前算好。最后主动讲短板:JOIN 弱、重查询并发弱,所以要打宽表;面向用户的高并发场景,考虑 Doris 或 StarRocks。

追问一 · JOIN

追问一:ClickHouse 为什么不适合做 JOIN?默认的哈希 JOIN,把右表放进内存建哈希表,左表逐行去查;右表几亿行、几十 GB,就可能 OOM。老资料说它没有 Sort Merge Join,这已经过时了。现在有能溢写磁盘的算法可选:grace_hash、full_sorting_merge,还有 partial_merge,代价是更慢。24.12 版本起,优化器还能自动决定拿哪一边建哈希表。前面专题讲过 Spark 会按表大小自动选 Join 策略;ClickHouse 这边,能落盘的算法通常要手动指定。所以最佳实践还是打宽表:ETL 阶段用 Spark 或 Hive 把 JOIN 做完,写进 ClickHouse 一张大宽表。非要在 ClickHouse 里 JOIN,就让右表尽量小,比如百万行以内,两边先过滤再 JOIN;只需要一条匹配用 ANY JOIN,只判断存在就用 IN。至于 USING 还是 ON,只是写法,不影响性能。

追问二 · 写入

追问二:数据怎么写入,要注意什么?最关键的一条:不要频繁小批量写入。每次 INSERT 都会生成一个新 Part。每秒插一次,一天就是 86400 个 Part,后台合并跟不上,就会报 too many parts。具体阈值:单个分区活跃 Part 超过 1000 开始延迟写入,超过 3000 直接报错。正确做法是攒批:官方首推异步插入,由服务端攒批,26.2 版本起已经默认开启;也可以用 Buffer 表,或者用 Kafka 先攒到几万行再批量写。生产里常见的是 Kafka 接 ClickHouse 的 Kafka 表引擎,自动消费,每批几万到几十万行。另外,老说法是 ClickHouse 不支持 UPDATE、DELETE,这也过时了。它支持 ALTER UPDATE 和 ALTER DELETE,也支持轻量级 DELETE;但这些都是重操作,不适合频繁的行级更新。高频更新用 ReplacingMergeTree,去重发生在合并时,是最终一致的;想立刻看到去重结果,查询加 FINAL。

追问三 · 怎么选

追问三:ClickHouse 和 Doris、StarRocks 怎么选?看两个指标。第一看并发:ClickHouse 适合少量分析师跑大查询;Doris、StarRocks 适合面向终端用户的高并发,QPS 可达数千。第二看运维:自建 ClickHouse 要手动管理分片和副本、手动做数据均衡,运维复杂度高;Doris、StarRocks 是 MPP 架构,能自动均衡,运维简单得多。内部分析团队用、查询复杂但用户少,选 ClickHouse;面向 C 端的报表看板、并发高但查询简单,选 Doris、StarRocks。

追问四 · 实时数据

追问四:ClickHouse 怎么处理实时数据?两种常见方案。方案一,Kafka 表引擎直接消费:订阅 Kafka Topic,数据实时写入,延迟在秒级。但它是至少一次语义,少数情况会有重复,需要 ReplacingMergeTree 去重。方案二,Flink 消费 Kafka,做实时清洗和聚合,再通过 JDBC Sink 写进 ClickHouse,延迟在秒到分钟级。第二种更常见:能在 Flink 里做窗口聚合、过滤脏数据,数据质量可控,也减轻 ClickHouse 的写入压力。

回到开头

回到开头:同样是列式存储,ClickHouse 快在少读列、少读字节、少读行、少调函数、多用核心。再加上近似计算和物化视图,把这六个维度讲清,再主动说出短板,这道题就稳了。

看完去做题