Fork me on GitHub

大数据Ganglia集群监控-CentOS6

字数统计: 3.7k字   |   阅读时长≈ 16分

Ganglia单群集部署

Ganglia集群监控

Ganglia是由UC Berkeley发起的一个开源监控项目，设计用于监控数以千几的节点。每台服务器都运行一个收集和发送监控数据名为gmond的守护进程。它将从操作系统和指定主机中收集。

接收所有监控数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次架构模式，使ganglia可以实现良好的扩展。Gmond带来的系统负载非常小，这使得它成为集群中各个服务器上运行一段代码而不会影响用户性能。

Ganglia主要用来监控系统性能的软件，通过曲线很容易见到每个节点的工作状态，对合理调整，分配系统资源，提高系统整体性能起到重要作用，支持浏览器方式访问，但不能监控节点硬件技术指标。Ganglia是分布式的监控系统。

Ganglia的组件

ganglia由三个组件构成

  • gmond :（client）是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。
  • gmetad:（server端）也是一个守护进程，他定期检查gmonds，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。他可以查询多个集群并聚合指标，然后生成并在用户界面的web前端展示。
  • ganglia-web :（server端）顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。

Ganglia 工作模式

Ganglia收集数据可以工作在单播或多播模式下，默认为多播模式
单播：发送自己收集到的监控数据到特定的一台或几台服务器上，可以跨网段。
多播：发送自己收集到的监控数据到同一网段所有的服务器上，同时收集同一网段的所有服务器发送过来的监控数据。因为是以广播包的形式发送，因此需要在同一网段内，但同一网段内，又可以定义不同的发送通道。

工作模式：图例

环境结构说明

现在有3台机器用来测试搭建Ganglia监控集群环境，采用多播的方式来监控各机器运行情况。

我以server-25为主节点（它上面部署监控服务端）

首先，在server-25 hosts 中配置主机信息。目的是为了读取各机器的主机名而不是IP。

1
2
3
4
5
6
7
cat  >> /etc/hosts << EOF

192.168.0.25 server-25
192.168.0.26 client1-26
192.168.0.27 client2-27

EOF

更换epel源(推荐)

该epel源内置大量优秀的软件，如果默认的yum源找不到你要安装的软件，那么这个epel源很适合你。

1
2
安装epel源(服务端/客户端运行)
yum update && yum install epel-release

服务端安装

1
2
3
4
5
6
7
8
9
10
11
12
安装gmetad（服务端运行）
yum install -y ganglia-gmetad ganglia-devel 

安装依赖图形软件rrdtool
yum erase rrdtool -y
yum install -y rrdtool

安装httpd服务器(用于搭建php网页服务器)
yum install -y httpd

安装ganglia-web及php
yum install -y ganglia-web php

客户端安装

1
2
安装gmond(所有客户端运行)
yum install -y ganglia-gmond

软件安装目录说明

1
2
3
4
5
ganglia配置文件目录：/etc/ganglia
rrd数据库存放目录：/var/lib/ganglia/rrds
httpd主站点目录：/var/www/html
ganglia-web安装目录：/usr/share/ganglia
ganglia-web配置目录：/etc/httpd/conf.d/ganglia.conf

配置服务端(gmetad)

1
2
3
4
5
6
7
8
9
10
11
将ganglia-web的站点目录连接到httpd主站点目录
ln -s /usr/share/ganglia/ /var/www/html/

修改httpd主站点目录下ganglia站点目录的访问权限
chown -R apache:apache /var/www/html/ganglia

修改ganglia站点目录访问权限属主属组为apache
chmod -R 755 /var/www/html/ganglia

修改rrd数据库存放目录访问权限属主属组为ganglia
chown -R ganglia:ganglia /var/lib/ganglia/rrds
1
2
3
4
5
6
7
8
9
10
11
12
13
修改ganglia-web的访问权限
cat  /etc/httpd/conf.d/ganglia.conf

       Alias /ganglia /usr/share/ganglia

       <Location /ganglia>
          Order deny,allow
          Deny from all
          #Allow from 127.0.0.1
          #Allow from ::1
          allow from all
          # Allow from .example.com
       </Location>

配置/etc/ganglia/gmetad.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
data_source "hadoop_cluster_yarn" 30 host1:8649 host2:8649
（1）data_source参数定义了集群名字，以及集群中的节点。由于采用multicast模式，每台gmond节点都有本Cluster1内节点机器的所有监控数据，因此不需要把所有节点写入data_source中。建议写入不低于2个，在host1节点死机的时候，会自动找host2节点取数据。
(2)中间的30，单位是秒。意思是30s轮询向后面的node查询信息然后交给rrd画图。如果不加30参数，默认15s一个轮询。

setuid_username ganglia 
该用户名需要与/var/lib/ganglia/rrds/属主保持一致，这样能确保读写没问题。否则启动gmetad会出现：gmetad dead but subsys locked的错误

xml_port 8651
xml_port定义了一个收集数据汇总的交互端口，如果不指定，默认是8651，可以通过telnet这个端口得到监控管理端收集到的客户端的所有数据。

interactive_port 8652
interactive_port 定义了Web端获取数据的端口，这个端口在配置Ganglia的web监控界面时需要指定。

rrd_rootdir "/var/lib/ganglia/rrds"
rrd_rootdir参数定义了rrd数据库的存放路径，gmetad收集到监控数据后，会更新到该目录下的对应的rrd数据库中。

gridname "Hadoop"  定义grad名称，该名称会显示在Web界面中

上面通过data_source参数定义了一个监控集群，如果要监控多个应用系统，可以通过如下方式定义：
data_source "my cluster" 10 localhost  my.machine.edu:8649  1.2.3.5:8655
data_source "my grid" 50 1.3.4.7:8655 grid.org:8651 grid-backup.org:8651
data_source "another source" 1.3.4.7:8655  1.3.4.8
在定义集群节点的时候，可以采用主机名、IP地址等形式，也可以加端口，如果不加端口的话，默认是8649端口，同时可以设定采集数据的频率，如上面的“10 localhost、50 1.3.4.7:8655”等，分别表示每隔10秒钟、50秒钟采集一次数据。
1
2
3
4
5
case_sensitive_hostnames 1

在gmetad之前版本中，RRD文件区分主机名大小写，但是现在已经有所改变。如果希望继续使用Ganglia 3.2之前版本创建的RRD文件，将该值设置为1。

注意：如果该参数非1，将会导致“浏览器访问ganglia出现各个节点的表格显示“ganglia no matching metrics detected”错误，内页不出图。

配置客户端(gmond)

1
2
配置文件
vim /etc/ganglia/gmond.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#global部分
globals {
  daemonize = yes        #以后台的方式运行
  setuid = yes
  user = ganglia         #运行gmond的用户
  debug_level = 0        #调试级别。如果有问题，可以修改值为10看启动信息
  max_udp_msg_len = 1472
  mute = no             #哑巴，本节点将不会再广播任何自己收集到的数据到网络上
  deaf = no             #聋子，本节点将不再接收任何其他节点广播的数据包
  allow_extra_data = yes
  host_dmax = 0 /*secs */
  cleanup_threshold = 300 /*secs */
  gexec = no            #是否使用gexec
  send_metadata_interval = 0
}
 

#cluster部分
cluster {
  name = "hadoop_cluster_yarn"     #本节点属于哪个cluster，该值需要和服务端配置文件data_source一致。
  owner = "apache"          #谁是该节点的所有者
  latlong = "unspecified"   #类似于地球上的坐标，经度、纬度？
  url = "unspecified"
}


#host部分
host {
  location = "unspecified"  #显示，可以起一个描述机器位置的信息
 }
 

#udp send部分
udp_send_channel {           #udp包的发送通道 
  mcast_join = 239.2.11.71   #多播。其中239.2.11.71是保留地址，官方默认要求，无需修改
  #host = 192.168.0.26       #如果使用单播模式（定点发定点收），不建议
  #单播需要改为比如 host = 192.168.0.26(指定ganglia客户端 IP地址)，单播模式下也可以配置多个udp_send_channel
  port = 8649                #监听端口
  ttl = 1
}
 
udp_recv_channel {           #接收udp包配置
  mcast_join = 239.2.11.71   #同样工作在239.2.11.71通道下
  port = 8649                #监听端口
  bind = 239.2.11.71         #绑定
}
 
 
tcp_accept_channel {
  port = 8649               #通过tcp协议监听的端口，远端可以通过链接8649端口得到监控数据
}

管理ganglia

1
2
3
4
5
6
7
8
所有配置操作完成后，即可启动ganglia服务了，首先在监控管理端启动gmetad服务：
/etc/init.d/gmetad start

接着启动apache的web服务：
/etc/init.d/httpd start

最后在每个客户端启动gmond服务：
/etc/init.d/gmond start

你可能会遇到的问题

1
2
3
4
5
6
7
1. 服务器端启动ganglia后，查看状态出现错误
/etc/init.d/gmetad status
gmetad dead but subsys locked

cat  /etc/ganglia/gmetad.conf
setuid_username ganglia 
该用户名需要与/var/lib/ganglia/rrds/属主保持一致，这样能确保读写没问题。否则启动gmetad会出现：gmetad dead but subsys locked的错误
1
2
3
4
5
6
7
2. Web访问ganglia: http://10.0.10.25/ganglia/
出现错误：There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error

关闭selinux！
关闭selinux！
关闭selinux！
重要事情说三遍！！！
1
2
3
4
5
3. 由于系统时间不对导致的问题
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
yum install -y ntpdate
ntpdate time.windows.com
/etc/init.d/gmetad  restart

debug排错

1
2
3
4
5
善于使用软件自身提供的debug功能来查找原因

vim  /etc/ganglia/gmetad.conf

debug_level 10      //启用该参数，重启服务后会打印运行log到屏幕

访问

http://192.168.0.25/ganglia

Ganglia多个群集-部署（多播模式）

多个群集架构图：图例

环境：

ClusterOne节点上有4个节点: node0.c1 , node1.c1 , node2.c1 , node3.c1

ClusterTwo节点上有4个节点: node0.c2 , node1.c2 , node2.c2 , node3.c2

ClusterThree节点上有4个节点：node0.c3 , node1.c3 , node2.c3 , node3.c3

  • ClusterOne上面的node0.c1部署（node1.c1 , node2.c1 , node3.c1配置相同）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    # /etc/gmond.conf - on ClusterOne
    cluster {
      name = "ClusterOne"        //这个通道名字不能与其他群集重复，ClusterOne集群端口也要确保唯一，此处是：8661
      owner = "unspecified"
      latlong = "unspecified"
      url = "unspecified"
    }

    udp_send_channel {
      mcast_join = 239.2.11.71
      port = 8661
      ttl = 1
    }

    udp_recv_channel {
      mcast_join = 239.2.11.71
      port = 8661
      bind = 239.2.11.71
    }

    tcp_accept_channel {
      port = 8661
    }

    ​

  • ClusterTwo上面的node0.c2部署（node1.c2 , node2.c2 , node3.c2配置相同）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    # /etc/gmond.conf - on ClusterTwo
    cluster {
      name = "ClusterTwo"           //这个通道名字不能与其他群集重复，ClusterOne集群端口也要确保唯一，此处是：8662
      owner = "unspecified"
      latlong = "unspecified"
      url = "unspecified"
    }

    udp_send_channel {
      mcast_join = 239.2.11.71
      port = 8662
      ttl = 1
    }

    udp_recv_channel {
      mcast_join = 239.2.11.71
      port = 8662
      bind = 239.2.11.71
    }

    tcp_accept_channel {
      port = 8662
    }

    ​

  • ClusterThree上面的node0.c3部署（node1.c3 , node2.c3 , node3.c3配置相同）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    # /etc/gmond.conf - on ClusterThree
    cluster {
      name = "ClusterThree"     //这个通道名字不能与其他群集重复，ClusterOne集群端口也要确保唯一，此处是：8663
      owner = "unspecified"
      latlong = "unspecified"
      url = "unspecified"
    }

    udp_send_channel {
      mcast_join = 239.2.11.71
      port = 8663
      ttl = 1
    }

    udp_recv_channel {
      mcast_join = 239.2.11.71
      port = 8663
      bind = 239.2.11.71
    }

    tcp_accept_channel {
      port = 8663
    }

  • 定义完node节点，最后配置ganglia服务端/etc/ganglia/gmetad.conf

    1
    2
    3
    4
    5
    6
    # /etc/gmetad.conf 
    data_source "ClusterOne" 30 node0.c1:8661 node1.c1:8661
    data_source "ClusterTwo" 30 node0.c2:8662 node1.c2:8662
    data_source "ClusterThree" 30 node3.c2:8663 node1.c3:8663

    注：后面每个通道至少要写2个node信息，如果一个节点挂掉，另一个节点仍然能够提供本通道（cluster name）的统计信息gmetad，因为gmond节点在配置的UDP通道内交换统计信息。

  • 最后重启服务端与node节点的服务即可。有问题开启debug

需求：服务器复用，Ganglia分别监控同1台机器

需求：假如一台服务器上面同时安装了HDFS、Yarn和Spark，让Ganglia分别监控这台机器。

目的：是让大数据人员很清楚每台机器上面具体有什么业务。

方案：在客户端启用多个gmond进程。

比如我的案例：
默认配置文件gmond我定义为HDFS群集，复制gmond.conf为gmond-hdfs.conf， name=hdfs port=8649(默认)
Yarn群集：复制gmond.conf并改名为gmond-yarn.conf，name=yarn port=8650
Spark群集：复制gmond.conf并改名为gmond-spark.conf , name=spark port=8651

实施方案

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
客户端启动多个gmond进程：

启动第一个HDFS gmond进程：
/usr/sbin/gmond -c /etc/ganglia/gmond-hdfs.conf -p /etc/ganglia/gmond-hdfs.pid

启动第二个yarn gmond进程：
/usr/sbin/gmond -c /etc/ganglia/gmond-yarn.conf -p /etc/ganglia/gmond-yarn.pid

启动第三个spark gmond进程：
/usr/sbin/gmond -c /etc/ganglia/gmond-spark.conf -p /etc/ganglia/gmond-spark.pid

如果有更多，方法类似，以此类推。

注意：配置文件内多个群集区分，多个群集之间，配置文件的name与port一定要区分，否则就串了

上面的启动命令最好放到脚本里面，开机一次性自启动 :)

维护

1
2
3
4
每台机器多个gmond进程难免出现故障，可能某个gmond进程无法启动，总结为如下几点原因：
1. 检查gmond进程端口是否被其他程序占用， lsof -i:8649
2. 删除故障的gmond pid文件重新启动对应gmond服务
3. 检查gmond服务所在服务器是否已经开启selinux或iptables，根据实际情况进行端口开放。
附加：gmond命令帮助
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# gmond --help

gmond 3.7.2

The Ganglia Monitoring Daemon (gmond) listens to the cluster
message channel, stores the data in-memory and when requested
will output an XML description of the state of the cluster

Usage: gmond [OPTIONS]...

  -h, --help             Print help and exit
  -V, --version          Print version and exit
  -c, --conf=STRING      Location of gmond configuration file  
                           (default=`/etc/ganglia/gmond.conf')
  -l, --location=STRING  Location of this host in the cluster 
                           'rack,rank,plane'.  (default=`0,0,0')
  -d, --debug=INT        Debug level. If greater than zero, daemon will stay in 
                           foreground.  (default=`0')
  -f, --foreground       Run in foreground (don't daemonize)  (default=off)
  -t, --default_config   Print the default configuration to stdout and exit  
                           (default=off)
  -m, --metrics          Print the list of metrics this gmond supports  
                           (default=off)
  -b, --bandwidth        Calculate minimum bandwidth use for configuration  
                           (default=off)
  -r, --convert=STRING   Convert a 2.5.x configuration file to the new 3.x 
                           format
  -p, --pid-file=STRING  Write process-id to file

最后的最后，贴下自己的测试环境Ganglia图形界面

Ganglia1: 图例

Gagnlia2: 图例

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......