1. 首页
  2. 文章中心
  3. 服务器

ClickHouse-集群部署以及副本和分片副本分片集群

63 阅读 0 评论
我是靠谱客的博主 生动外套，最近开发中收集的这篇文章主要介绍ClickHouse-集群部署以及副本和分片副本分片集群，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

副本

副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/

副本只支持合并数家族，支持的引擎如下：

在这里插入图片描述

副本写入流程

在这里插入图片描述

clickhouse集群没有主从之分

配置步骤

(1)启动 zookeeper 集群

(2)在 hadoop113 的/etc/clickhouse-server/config.d 目录下创建一个名为 metrika.xml的配置文件,内容如下:

**注:也可以不创建外部文件,直接在 config.xml 中指定<zookeeper>**也可以，这样的话就不需要配置3步骤的信息了。

<?xml version="1.0"?>
<yandex>
    <zookeeper-servers>
        <node index="113">
            <host>hadoop113</host>
            <port>2181</port>
        </node>
            <node index="114">
            <host>hadoop114</host>
        	<port>2181</port>
        </node>
            <node index="115">
            <host>hadoop115</host>
        	<port>2181</port>
        </node>
    </zookeeper-servers>
</yandex>

将文件的所有者改为clickhouse，并且配置相关的文件的所有者必须都是clickhouse

chown clickhouse:clickhouse metrika.xml

(3)在 hadoop112 的/etc/clickhouse-server/config.xml 中增加使用以上文件

<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

(4)分别在 hadoop113 和 hadoop114 上启动 ClickHouse 服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

(5)在所有服务器上分别建表

副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表

/* hadoop113 */
create table t_order_rep2 (
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_113')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

/* hadoop114 */
create table t_order_rep2 (
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_114')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

/* hadoop115 */
create table t_order_rep2 (
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_115')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

ReplicatedMergeTree 中,第一个参数是分片的 zk_path 一般按照: /clickhouse/table/{shard}/{table_name} 的格式写,如果只有一个分片就写 01 即可。

第二个参数是副本名称,相同的分片副本名称不能相同。

(6)在hadoop113上插入以下数据

insert into t_order_rep2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00');

(7)在hadoop113、hadoop114、hadoop115上分别查询数据，均能够查到说明配置成功了

select * from t_order_rep2;

┌──id─┬─sku_id──┬─total_amount─┬─────────create_time─┐
│ 105 │ sku_003 │       600.00 │ 2020-06-02 12:00:00 │
└─────┴─────────┴──────────────┴─────────────────────┘
┌──id─┬─sku_id──┬─total_amount─┬─────────create_time─┐
│ 101 │ sku_001 │      1000.00 │ 2020-06-01 12:00:00 │
│ 102 │ sku_002 │      2000.00 │ 2020-06-01 12:00:00 │
│ 103 │ sku_004 │      2500.00 │ 2020-06-01 12:00:00 │
│ 104 │ sku_002 │      2000.00 │ 2020-06-01 12:00:00 │
└─────┴─────────┴──────────────┴─────────────────────┘

分片集群

副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决。

要解决数据水平切分的问题,需要引入分片的概念。通过分片把一份完整的数据进行切分,不同的分片分布到不同的节点上,再通过 Distributed 表引擎把数据拼接起来一同使用，就是将表中的数据分别存到不同的分片中。

**Distributed 表引擎本身不存储数据,**有点类似于 MyCat 之于 MySql,成为一种中间件,通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。

注意:ClickHouse 的集群是表级别的,实际企业中,大部分做了高可用,但是没有用分片,避免降低查询性能以及操作集群的复杂性。

集群写入流程(3 分片 2 副本共 6 个节点)

在这里插入图片描述

以上绿线代表内部同步，即副本自身进行同步；非内部同步的话，由distribute节点统一进行数据同步。最好是开启内部同步

集群读取流程(3 分片 2 副本共 6 个节点)

在这里插入图片描述

errors_count表示请求错误次数

分片 2 副本共 6 个节点集群配置(供参考)

配置的位置还是在之前的/etc/clickhouse-server/config.d/metrika.xml,内容如下

<yandex>
    <remote_servers>
        <test_cluster> <!-- 集群名称-->
            <shard> <!--集群的第一个分片-->
                <internal_replication>true</internal_replication>
                <!--该分片的第一个副本-->
                <replica>
                    <host>hadoop101</host>
                    <port>9000</port>
                </replica>
                <!--该分片的第二个副本-->
                <replica>
                    <host>hadoop102</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard> <!--集群的第二个分片-->
                <internal_replication>true</internal_replication>
                <replica>
                <!--该分片的第一个副本-->
                    <host>hadoop103</host>
                    <port>9000</port>
                </replica>
                <replica>
                <!--该分片的第二个副本-->
                    <host>hadoop104</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard> <!--集群的第三个分片-->
                <internal_replication>true</internal_replication>
                <replica>
                <!--该分片的第一个副本-->
                    <host>hadoop105</host>
                    <port>9000</port>
                </replica>
                <replica>
                <!--该分片的第二个副本-->
                    <host>hadoop106</host>
                    <port>9000</port>
                </replica>
            </shard>
        </test_cluster>
    </remote_servers>
</yandex>

配置三节点版本集群及副本

集群及副本规划(2 个分片,只有第一个分片有副本)

在这里插入图片描述

hadoop113hadoop114hadoop115

01
rep_1_1

01
rep_1_2

02
rep_2_1

配置步骤

1、在 hadoop132 的/etc/clickhouse-server/config.d 目录下创建 metrika-shard.xml 文件

<?xml version="1.0"?>
<yandex>
    <remote_servers>
    <test_cluster> <!-- 集群名称-->
        <shard>
        <!--集群的第一个分片-->
            <internal_replication>true</internal_replication>
            <replica>
                <!--该分片的第一个副本-->
                <host>hadoop113</host>
                <port>9000</port>
            </replica>
            <replica>
                <!--该分片的第二个副本-->
                <host>hadoop114</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard> <!--集群的第二个分片-->
            <internal_replication>true</internal_replication>
            <replica>
                <!--该分片的第一个副本-->
                <host>hadoop115</host>
                <port>9000</port>
            </replica>
        </shard>
    </test_cluster>
    </remote_servers>
    
    <zookeeper-servers>
        <node index="113">
            <host>hadoop113</host>
            <port>2181</port>
        </node>
        <node index="114">
            <host>hadoop114</host>
            <port>2181</port>
        </node>
        <node index="115">
            <host>hadoop115</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
    
    <macros>
        <shard>01</shard> <!--不同机器放的分片数不一样-->
        <replica>rep_1_1</replica> <!--不同机器放的副本数不一样-->
    </macros>
</yandex>

2、将 hadoop113 的 metrika-shard.xml 同步到 114 和 115，并修改所有者为clickhouse

3、修改114 和 115 中 metrika-shard.xml 宏的配置

<!-- hadoop114 -->
<macros>
    <shard>01</shard> <!--不同机器放的分片数不一样-->
    <replica>rep_1_2</replica> <!--不同机器放的副本数不一样-->
</macros>

<!-- hadoop115 -->
<macros>
    <shard>02</shard> <!--不同机器放的分片数不一样-->
    <replica>rep_2_1</replica> <!--不同机器放的副本数不一样-->
</macros>

4、在 hadoop113 上修改/etc/clickhouse-server/config.xml

<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika-shard.xml</include_from>

5、将 hadoop113 的 config.xml 同步到 114 和 115，并修改所有者为clickhouse

6、重启三台服务器上的 ClickHouse 服务

sudo clickhouse restart

7、在 hadoop113 上执行建表语句

create table st_order_mt on cluster test_cluster (
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
) engine = ReplicatedMergeTree('/clickhouse/tables/{shard}/st_order_mt','{replica}')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

➢ 会自动同步到 hadoop114 和 hadoop115 上，因为使用了on cluster来创建表

➢ 集群名字要和配置文件中的一致

➢ 分片和副本名称从配置文件的宏定义中获取

8、在 hadoop113 上创建 Distribute 分布式表

create table st_order_mt_all2 on cluster test_cluster
(
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
)engine = Distributed(test_cluster, default, st_order_mt, hiveHash(sku_id));

参数含义:

Distributed(集群名称,库名,本地表名,分片键)

分片键必须是整型数字,所以用 hiveHash 函数转换,也可以 rand()

9、在 hadoop113 上的分布式表插入测试数据

insert into st_order_mt_all2 values
(201,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(202,'sku_002',2000.00,'2020-06-01 12:00:00'),
(203,'sku_004',2500.00,'2020-06-01 12:00:00'),
(204,'sku_002',2000.00,'2020-06-01 12:00:00'),
(205,'sku_003',600.00,'2020-06-02 12:00:00');

10、通过查询分布式表和本地表观察输出结果

/* 分布式表 */
SELECT * FROM st_order_mt_all;

/* 本地表 */
select * from st_order_mt;

在这里插入图片描述

最后

以上就是生动外套为你收集整理的ClickHouse-集群部署以及副本和分片副本分片集群的全部内容，希望文章能够帮你解决ClickHouse-集群部署以及副本和分片副本分片集群所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(42)

相关文章

大数据ClickHouse进阶（二十五）：ClickHouse熔断机制
大数据ClickHouse进阶（二十五）：ClickHouse熔断机制
Clickhouse表引擎一 表引擎的使用二 TinyLog三 Memory四 MergeTree五 partition by 分区(可选)六 primary key 主键(可选)七 order by（必选）八 二级索引九 数据 TTL十 ReplacingMergeTree十一 SummingMergeTree
Clickhouse表引擎一 表引擎的使用二 TinyLog三 Memory四 MergeTree五 partition by 分区(可选)六 primary key 主键(可选)七 order by（必选）八 二级索引九 数据 TTL十 ReplacingMergeTree十一 SummingMergeTree
ClickHouse之初步认识
ClickHouse之初步认识
ClickHouse获取主键字段的SQL
ClickHouse获取主键字段的SQL
ClickHouse-集群部署以及副本和分片副本分片集群
ClickHouse-集群部署以及副本和分片副本分片集群
初步认识clickhouse
初步认识clickhouse
python日期时间处理
python日期时间处理
order by --- limit 导致查询速度慢
order by --- limit 导致查询速度慢

评论列表共有 0 条评论

立即
投稿
返回
顶部