MPP架构海量数据分析仓库——Greenplum介绍

一、Greenplum背景

时间回到2002年，互联网行业经过近10年的发展，数据量正处于快速增长期：

　　1、传统的主机计算模式在海量数据面前，除了造价昂贵外，在CPU计算和IO吞吐上不能满足海量数据的计算需求；

　　2、传统数据库大多基于SMP架，纵向扩容(scale-up)模式遇到了瓶颈。

　　3、分布式存储和分布式计算理论刚刚被提出来，Google的两篇著名论文关于GFS分布式文件系统和关于MapReduce 并行计算框架的理论引起业界的关注，分布式计算模式在互联网行业特别是收索引擎和分词检索等方面获得了巨大成功。

Greenplum是为解决以上问题产生的可以支持scale-out横向扩展的基于数据库的MPP架构的分布式数据存储和并行计算的工具。

 

二、Greenplum架构

2.1 Greenplum MPP架构

在介绍Greenplum架构前，先来了解下背景里出现的MPP架构。所谓的MPP架构即Massively Parallel Processing大规模并行进程。其基本特征是由多个SMP服务器通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享(Share Nothing)结构，因而横向扩展能力好，性能随着硬件增加呈线性提升，理论上其扩展无限制。

可以看到，每个segment的硬件内容是独立的，在上层通过网络进行通信，Greenplum架构是典型的MPP架构。Master节点保存着global system catalog，并提供外部访问入口。业务数据都根据分布规则存放在Segment节点上。

 

2.2 Master高可用之 Master&Standby

由于Greenplum所有的并行任务都是在Segment数据节点上完成后，Master只负责生成和优化查询计划、派发任务、协调数据节点进行并行计算。Master节点并不会因为因为数据压力过大导致资源紧张成为瓶颈。 

 

2.3 Segment高可用之镜像策略

在上一期安装初始化的时候有讲到ssh协议不通会导致初始化互相copy primary文件到别的镜像主机当做mirror文件失效报错，现在详细介绍下镜像策略。

Greenplum有两种镜像策略，分别为group(默认策略)和spread模式。其中group模式每个Host的镜像文件都放在下一个Host上，所有计算节点形成一个环。如下图

而spread模式是将每个Host的镜像依次分散到后续Host上，如下图

两者的差异在于可宕机数量以及宕机后仍处在正常状态服务器的压力。

以上两图为例，group模式下segment host1挂掉后，集群会使用segment host2镜像实例当做segment host1主实例的备选，使集群继续使用。即使在segment host1挂掉后，segment host3挂掉，segment host2和segment host4的主实例和镜像实例扔能支撑整个集群正常使用；

而在spread模式下segment host1挂掉后，其他三台任意出现故障导致服务不可用时，整个集群会有部分节点无法访问导致异常(例如segment host2和segment host3挂掉绿色不可用，segment host4挂掉蓝色不可用)，spread对比group的优点在于，当只出现一台机器如segment host1挂掉时，spread能将segment host1的压力平分到segment host2和segment host3上，而group模式会将压力全都转移到segment host2上。

镜像模式可自动实现故障转移功能；如何选择镜像模式，需要根据实际情况来选择。

gpinitsystem_config初始化文件
################################################
#### OPTIONAL MIRROR PARAMETERS
################################################

#### Base number by which mirror segment port numbers 
#### are calculated.
MIRROR_PORT_BASE=53000

#### Base number by which primary file replication port 
#### numbers are calculated.
REPLICATION_PORT_BASE=43000

#### Base number by which mirror file replication port 
#### numbers are calculated. 
MIRROR_REPLICATION_PORT_BASE=54000

#### File system location(s) where mirror segment data directories 
#### will be created. The number of mirror locations must equal the
#### number of primary locations as specified in the 
#### DATA_DIRECTORY parameter.
#declare -a MIRROR_DATA_DIRECTORY=(/data1/mirror /data1/mirror /data1/mirror /data2/mirror /data2/mirror /data2/mirror)
declare -a MIRROR_DATA_DIRECTORY=(/home/gpadmin/gpdata/gpdatam1 /home/gpadmin/gpdata/gpdatam2)

  

 

参考文档：

1、Greenplum架构 https://gpdb.docs.pivotal.io/5100/admin_guide/intro/arch_overview.html

2、镜像模式 https://gpdb.docs.pivotal.io/570/admin_guide/highavail/topics/g-overview-of-segment-mirroring.html

3、Master-Slave https://gpdb.docs.pivotal.io/5100/admin_guide/highavail/topics/g-overview-of-master-mirroring.html