概述
一、Ganglia分布式监控系统简介
Ganglia是UC Berkeley发起的一个开源集群监视项目。它主要是用来监控系统性能,如:CPU 、Memory、硬盘利用率, I/O负载、网络流量情况等。Ganglia通过图形化的方式展示每个节点的状态信息,这对合理调整、分配系统资源,提高系统整体性能起到重要作用。Ganglia包含三个核心组件:Ganglia Monitoring Daemon(gmond)、Ganglia Meta Daemon(gmetad)以及Ganglia PHP Web Frontend。
Gmond组件
Gmond组件部署于集群中各个被监控的节点。其主要功能是从操作系统或指定的主机收集状态信息。其收集主机状态信息的方式灵活,状态信息均以XML格式进行传输。Gmond组件可以级联形成层次结构,这种层次结构使得Ganglia拥有良好的可扩展性。另外,Gmond组件带来的系统负载非常少,对用户的影响非常小。Gmond组件的工作模式有两种:单播和多播。单播模式下,Gmond组件发送其收集的主机状态信息到指定的一个或多个节点,可以跨网段;多播模式下,Gmond组件发送其监控的主机状态信息到同一网段内的所有节点,同时还接收同一网段内其他节点发送的状态信息。
Gmetad组件
Gmetad组件可以部署于集群中的某一节点,也可以部署于集群外的某一专门服务器,其主要功能是周期性地从指定的Gmond组件或其他Gmetad组件拉取数据,并将拉取的数据存储在本地数据库。这些存储的状态信息供Ganglia-Web组件使用。
Ganglia-Web组件
Ganlgia-Web组件和Gmetad组件须部署于同一节点,它通过数据库轮询的方式从Gmetad组件中获取状态信息,并以web形式图形化地展示各个节点的状态信息。
Overview of Ganglia Node
Details of Ganglia Node
Ganglia Cluster Data Flow
二、CentOS下搭建Ganglia分布式监控系统
1、安装依赖
1) Ganglia依赖于以下系统软件包,请先检查这些软件包是否正确安装。所缺软件包建议通过YUM源方式安装。安装这些包,需要CentOS-Base.repo。后续安装步骤中可能用到源epel.repo。
yum install apr-develapr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-develdbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devellibXrender-devel
2) 安装confuse
- 通过RPM包方式安装(libconfuselibconfuse-devel)
rpm –ivhlibconfuse-2.6-2.el5.rf.x86_64.rpm
rpm –ivhlibconfuse-devel-2.6-2.el5.rf.x86_64.rpm
- 通过源码编译方式安装 (confuse)
tar zxvf confuse-2.7.tar.gz
./confuse-2.7/configure CFLAGS=-fPIC --disable-nls
./confuse-2.7/make&& make install
在以源码编译方式安装confuse时,如果环境是64位操作系统,则configure参数不可以省略,否则源码编译安装Ganglia时会出错。
3) 安装RRDTool(Ganglia依赖于RRDTool数据库轮询工具来更新Ganglia-Web页面)
- 通过YUM源方式安装
yum install rrdtool
- 通过源码编译方式安装 (rrdtool)
tar zxvfrrdtool-1.4.6.tar.gz
./rrdtool-1.4.6/configure--prefix=/usr
./rrdtool-1.4.6/make&& make install
在以源码编译方式安装时,configure的参数--prefix用来指定安装目录,便于后续安装指定路径。
4) 安装Apache+PHP(仅gmetad组件和ganglia-web组件所在节点须配置此项)
- 通过YUM源方式安装
yum install httpd php apr
2、安装Ganglia
安装前请先检查/usr/include/rrd.h和/usr/lib/librrd.a文件是否存在。如不存在,可分别创建指向这两个文件的软链接。
- 通过YUM源方式安装
yum install gangliaganglia-gmond ganglia-gmetad ganglia-web
- 通过源码编译方式安装(ganglia ganlia-web)
tar zxvfganglia-3.4.0.tar.gz
./ganglia-3.4.0/configure--with-gmetad
./ganglia-3.4.0/make&& make install
在以源码编译方式安装时,configure如果不指定参数--with-gmetad则只安装gmond组件。
3、配置Ganglia
1) 获取Ganglia配置文件
- 如果通过YUM源方式安装,则配置文件已自动生成,配置文件存放于/etc目录。
- 如果通过源码编译方式安装,Ganglia的配置信息需要手动生成。
首先需要创建配置文件存储目录
mkdir /etc/ganglia
Gmond组件的默认配置文件可自动生成
gmond –t | tee/etc/ganglia/gmond.conf
Gmetad组件的配置文件为源码包中的package/gmetad/gmetad.conf
cp<package>/gmetad/gmetad.conf /etc/ganglia/gmetad.conf
2) 配置文件。不管采用哪种安装方法,其配置方法如下:
- gmond.conf配置项目
/*配置集群信息,主要配置集群名称*/
cluster {
name = "Flume"
owner = "Cooper"
latlong = "unspecified"
url = "unspecified"
}
/*配置UPD发送管道,用于发送UPD单播或多播状态信息*/
udp_send_channel {
host = 111.111.111.***
port = 8649
ttl = 1
}
/*配置UPD接收端口,用于接收其他节点发送到UPD单播或多播状态信息*/
udp_recv_channel {
port = 8649
}
/*配置Gmond组件收集的信息,可配置状态信息采集时间,最大采集时间间隔和监控值阈等*/
/*Gmond组件的状态信息收集项已经默认配置完成,可根据实际需要更改收集时间阈和值阈*/
collection_group {
collect_once = yes
time_threshold = 20
metric {
name = "heartbeat"
}
}
- gmetad.conf配置项目
/*配置周期性拉取信息的数据源*/
data_source"Flume" 111.111.111.***:8649
/*可配置拉取周期、拉取节点等,如果gmetad需要拉取多个节点的信息,以空格分隔配置*/
# data_source"cluster" 10 localhost my.machine.edu:8649 1.2.3.5:8655
# data_source"grid" 50 1.3.4.7:8655 grid.org:8651 grid-backup.org:8651
# data_source"source" 1.3.4.7:8655 1.3.4.8
- 配置文件完成后,将gmond和gmetad注册为系统服务
chkconfig –-add gmond
chkconfig –-add gmetad
- 启动服务
service gmond start
service gmetad start
service httpd srart
附1、使用Gmetric定制监控信息
Gmetric组件是可选组件,所以配置之前,请确认Gmetric组件已经正确安装。Gmetric组件通过执行定制的脚本,将返回结果返回给Gmond组件。
ll /usr/bin/gmetric
vi/root/gmetric_scripts.sh
chmod 755/root/gmetric_scripts.sh
/root/gmetric_scripts.sh
/*将脚本服务添加到crontab,设置周期性运行*/
crontab –e
/1 * * * * /root/mcd_gmetric.sh
在此提供一个共享的脚本库【猛击这里】
附2、监控Hadoop集群
/*配置Hadoop文件*/
/*这里所配置的IP地址,是指Gmond组件指定的多播地址,不是Gmetad组件所在地节点地址*/
# Configuration of the"dfs" context for ganglia
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
dfs.period=10
dfs.servers=10.224.192.***:8649
# Configuration of the"mapred" context for ganglia
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext
mapred.period=10
mapred.servers=10.224.192.***:8649
# Configuration of the"jvm" context for ganglia
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
jvm.period=10
jvm.servers=10.224.192.***:8649
最后
以上就是调皮金鱼为你收集整理的Ganglia分布式集群监控系统安装手册一、Ganglia分布式监控系统简介二、CentOS下搭建Ganglia分布式监控系统1、安装依赖的全部内容,希望文章能够帮你解决Ganglia分布式集群监控系统安装手册一、Ganglia分布式监控系统简介二、CentOS下搭建Ganglia分布式监控系统1、安装依赖所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复