【ClickHouse系列】ClickHouse 轻量级删除原理

84 阅读 0 评论 56 点赞

我是靠谱客的博主大方黑裤，最近开发中收集的这篇文章主要介绍【ClickHouse系列】ClickHouse 轻量级删除原理，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

轻量级删除

旧的删除原理

ClickHouse 的删除是通过 mutation 来实现的，比如我们想删除某些记录：

ALTER TABLE test DELETE WHERE id < 100;

会在表 test 的数据目录中产生 mutation_{block_number}.txt 文件，内容如下：

format version: 1
create time: 2022-12-24 22:10:44
commands: DELETE WHERE id < 100

每个 part 的数据会在执行完 mutation 后被删除，但是执行 mutation 会将 part 中的所有数据都读进内存，而后执行数据删除，再将处理后的数据再持久化到文件系统当中，这个过程是重量级的，速度会非常慢。

轻量级删除原理

ClickHouse 目前实现了轻量级删除，即添加了一个虚拟列 _row_exists 来标识该行数据是否被删除，_row_exists 有两种取值：0（已被删除）和1（未被删除）。这样将上述的 mutation 过程变为了更新 _row_exists 虚拟列的逻辑，因为 ClickHouse 在做列变更时只是处理被影响的列，其余列文件是通过 hardlink 的方式链接过去，当列很多时，会省去很多 IO 操作。

当然，_row_exists 也是会持久化的，因为不能因为重启或其他原因丢失了数据操作，所以同样会有 _row_exists.bin 和 _row_exists.mrk 文件生成。但是这列所产生的文件并不是真正有用的数据，所以在后续异步执行 part merge 的时候会将标记删除的记录做真正的删除，_row_exists 列也就不再有存在的意义，也会随之被删除。

示例

创建一个 MergeTree 表

CREATE TABLE test
(
    `id` UInt64,
    `value` String
)
ENGINE = MergeTree
ORDER BY id
SETTINGS
    vertical_merge_algorithm_min_rows_to_activate = 1,
    vertical_merge_algorithm_min_columns_to_activate = 1,
    min_rows_for_wide_part = 1,
    min_bytes_for_wide_part = 1;

其中，vertical_merge_algorithm_min_rows_to_activate 和 vertical_merge_algorithm_min_columns_to_activate 设置为1是为了让 MergeTree 使用 Vertical 算法进行 merge（ClickHouse 还有一种是 Horizontal 算法，具体区别可以参考两种Merge算法（Horizontal和Vertical）的使用场景），min_rows_for_wide_part 和 min_bytes_for_wide_part设置为1是为了让 MergeTree 的 part 使用 Wide 模式（即每列都是独立文件）。

写入数据

INSERT INTO test SELECT number AS id, toString(number) AS value FROM numbers(10);

开启轻量级删除配置

SET allow_experimental_lightweight_delete = 1;

目前轻量级删除功能还是实验性功能，需要将上述配置参数设置为1才生效。

删除部分数据

DELETE FROM lwd_test WHERE (id % 3) = 0;

轻量级删除需使用 DELETE 子句，不再使用 ALTER TABLE DELETE 子句。

执行过后，可以发现 test 数据目录多了 mutation_2.txt 文件，内容为：

format version: 1
create time: 2022-12-24 22:44:43
commands: UPDATE _row_exists = 0 WHERE (id % 3) = 0

可见 DELETE 操作被转变为 UPDATE 操作。

在观察下 part 目录，文件列表为：

-rw-r-----  1 ck  ck    36B 12 24 22:44 _row_exists.bin
-rw-r-----  1 ck  ck    48B 12 24 22:44 _row_exists.mrk2
-rw-r-----  1 ck  ck   328B 12 24 22:44 checksums.txt
-rw-r-----  1 ck  ck    84B 12 24 22:44 columns.txt
-rw-r-----  1 ck  ck     2B 12 24 22:42 count.txt
-rw-r-----  1 ck  ck    10B 12 24 22:44 default_compression_codec.txt
-rw-r-----  1 ck  ck    70B 12 24 22:42 id.bin
-rw-r-----  1 ck  ck    48B 12 24 22:42 id.mrk2
-rw-r-----  1 ck  ck    16B 12 24 22:42 primary.idx
-rw-r-----  1 ck  ck    47B 12 24 22:42 value.bin
-rw-r-----  1 ck  ck    48B 12 24 22:42 value.mrk2