Ganglia是一個跨平臺可擴(kuò)展的,高性能計算系統(tǒng)下的分布式監(jiān)控系統(tǒng),如集群和網(wǎng)格。它是基于分層設(shè)計,它使用廣泛的技術(shù),如XML數(shù)據(jù)代表,便攜數(shù)據(jù)傳輸,RRDtool用于數(shù)據(jù)存儲和可 視化。
配置信息:
ubuntu 12.04 x64
hadoop版本1.0.4
首先需要安裝ganglia,ubuntu下通過apt-get安裝即可:
sudo apt-get install ganglia-monitor ganglia-webfront gmetad
安裝完成后修改/etc/ganglia/gmond.conf文件
將globals模塊下的setuid=yes修改為setuid=no,cluster模塊下的name修改為hadoop
然后修改/etc/ganglia/gmetad.conf文件
找到data_source, 將其修改為 data_source "hadoop" 127.0.0.1 如果是集群直接在多個ip用空格隔開,可以自行定義監(jiān)聽端口號,如果不自定義使用默認(rèn)端口8649,如果有防火墻,記得開放端口號。
修改完成后重啟ganglia
sudo /etc/init.d/ganglia-monitor restart
sudo /etc/init.d/gmetad restart
重啟完之后就可以把ganglia-webfront 復(fù)制到apache的www目錄下
sudo cp -r /usr/share/ganglia-webfront /var/www/ganglia
再重啟apache 服務(wù)
sudo /etc/init.d/apache2 restart
這樣就可以通過訪問http://localhost/ganglia 查看界面。
配置hadoop:
找到hadoop目錄下conf下的hadoop-metrics2.properties文件
# # Below are for sending metrics to Ganglia # # for Ganglia 3.0 support *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink30 # # for Ganglia 3.1 support # *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=10 # default for supportsparse is false *.sink.ganglia.supportsparse=true *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40 namenode.sink.ganglia.servers=239.2.11.71:8649 datanode.sink.ganglia.servers=239.2.11.71:8649 jobtracker.sink.ganglia.servers=239.2.11.71:8649 tasktracker.sink.ganglia.servers=239.2.11.71:8649 maptask.sink.ganglia.servers=239.2.11.71:8649 reducetask.sink.ganglia.servers=239.2.11.71:8649
只需要將注釋修改,然后將ganglia的server地址修改為239.2.11.71即可,重啟hadoop,即可看到如下視圖,表示ganglia搭建成功
---恢復(fù)內(nèi)容結(jié)束---