斯文铅笔

文章
4
资源
0
加入时间
2年11月11天

ClickHouse插入频繁报错优化频繁写入ClickHouse报错原因实时写入引入缓存buffer离线服务使用预构集群ClickHouse配置优化

初次使用ClickHouse,基本都会碰到如下图中too many parts的报错。本文将具体介绍报错原因和优化方案。频繁写入ClickHouse报错原因如上图所示,clickhouse操作数据的最小操作单元是block,每次写入,都会按照zookeeper记录的唯一自增的blockId,按照PartitionId_blockId_blockId_0生成data parts,也就是小文件,然后后台会有merge线程,不定时的讲多个小文件进行合并,生成PartitionId_MinBlockNu