clickhouse 批量插入数据_clickhouse的几个使用方法

63 阅读 0 评论 42 点赞

我是靠谱客的博主美好小猫咪，最近开发中收集的这篇文章主要介绍clickhouse 批量插入数据_clickhouse的几个使用方法，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

实际开发过程中采用了clickhouse数据库和redis，把之前整理的拿出来，求指点和交流

1、数据量大于10T之后对于数据需要快速显示可以采用汇聚表，如下方式

Sum fucntion(实现trafficsummary聚合成一条，totalbytes相加，totalpacket相加等，starttime取最小，endtime取最大)

Example

CREATE materialized viewtrafficsummary ENGINE = AggregatingMergeTree(datadate,(type,starttime,endtime,datadate), 8192) as select type,sumState(totalbytes) as sumtotalbytes,sumState(totalpacket)as sumtotalpacket,max(starttime) as starttime,min(endtime) as endtime,datadatefrom testaggregatetetrafficsummary group by datadate,type;

这是把表按分统计

CREATE MATERIALIZED VIEW default.testbymin

ENGINE = AggregatingMergeTree PARTITION BY enddatetimeORDER BY enddatetime

SETTINGS index_granularity=8192

POPULATE --加这个关键字在 AS前，可以在物化视图中插入视图建立之前realtimetrend已经有的数据，不用新插入数据，方便测试

AS SELECT

any(bandwidth) ASbandwidth1,

any(nodei