Cactiによるネットワーク監視システム構築ガイド（0.8.6i）

ファイアウォールルータ

フィルタリングポリシーは以下の通りです。

• LAN側(192.168.10.0/24)からインターネット側へのアクセスは原則許可
• インターネット側からLAN側(192.168.10.0/24)へのアクセスは原則禁止
• グローバルIPアドレスへのアクセスは外部公開サーバへフォワーディング

外部公開サーバ

監視ターゲットとなる外部公開サーバは、ウェブ・メール・DNS・データベースサービスを提供します。 インターネットからグローバルIPアドレスへのアクセスはすべて外部公開サーバにフォワーディングされるため、セキュリティ対策として、iptablesによるファイアウォール機能を有効にします。

監視サーバ

本ガイドにて、構築する監視サーバです。プライベートIPアドレスにて運用するため、外部からは接続できません。

仮想コンソール

[root]# vi /etc/inittab

# Run gettys in standard runlevels
1:2345:respawn:/sbin/mingetty tty1
2:2345:respawn:/sbin/mingetty tty2
3:2345:respawn:/sbin/mingetty tty3
####4:2345:respawn:/sbin/mingetty tty4
####5:2345:respawn:/sbin/mingetty tty5
####6:2345:respawn:/sbin/mingetty tty6

デーモン

LISTENしているサービスを停止します。

[root]# chkconfig cups off
[root]# chkconfig portmap off
[root]# chkconfig nfslock off

netstatコマンドの実行結果が以下のようであることを確認して下さい。

[root]# netstat -lntu
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN
tcp        0      0 :::22                       :::*                        LISTEN

ユーザ登録

サーバのメンテナンスを行うユーザ(sabakan)を登録します。

[root]# useradd -u 1000 -c "Maintenance User" sabakan
[root]# passwd sabakan

rpm環境設定

rpmパッケージの作成、再構築は登録した一般ユーザにて行います。

[root]# su - sabakan
[user]$ echo "%_topdir $HOME/rpm" > ~/.rpmmacros
[user]$ mkdir -p ~/rpm/{SPECS,BUILD,SOURCES,SRPMS,RPMS}

ディレクトリの用途を以下に示します。

sudoコマンド

一般ユーザプロンプトにて、実行したいコマンドの前にsudoをつけることでroot権限にてコマンドを実行できるようにします。 sudoコマンド実行後に表示されるPassword:プロンプトには、ユーザ自身のパスワードを入力します。 また、sudoによるコマンド実行は、/var/log/secureに記録されるため作業後に実行したコマンドを確認することができます。

[root]# visudo

# User privilege specification
root    ALL=(ALL) ALL
sabakan ALL=(ALL) ALL

今後、rootでの作業は出来る限り避け、sudoコマンドを使用して作業を行うことをお勧めします。

ビルド環境準備

[user]$ sudo yum install rpm-build
[user]$ sudo yum install gcc
[user]$ sudo yum install autoconf

NTP

時刻同期を行うためNTPをインストールします。

[user]$ sudo yum install ntp
[user]$ sudo vi /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -x"

# Set to 'yes' to sync hw clock after successful ntpdate.
SYNC_HWCLOCK=yes

[user]$ sudo /etc/init.d/ntpd start

nkf

nkf(Network Kanji Filter)は文字コードの変換に使用します。

[user]$ rpm -ivh http://ftp.kddilabs.jp/Linux/packages/fedora/core/6/source/SRPMS/nkf-2.07-1.1.fc6.src.rpm
[user]$ rpmbuild -ba rpm/SPECS/nkf.spec
[user]$ sudo rpm -ivh /home/sabakan/rpm/RPMS/i386/nkf-2.07-1.1.i386.rpm

lv

lvは強力な多国語対応テキストファイルビューアです。

[user]$ sudo yum install libtermcap-devel
[user]$ rpm -ivh http://ftp.kddilabs.jp/Linux/packages/fedora/core/6/source/SRPMS/lv-4.51-8.1.src.rpm
[user]$ rpmbuild -ba rpm/SPECS/lv.spec
[user]$ sudo rpm -ivh /home/sabakan/rpm/RPMS/i386/lv-4.51-8.1.i386.rpm

kcc

kcc(Kanji Code Coverter)はテキストファイルの文字コード調査、変換に使用します。

[user]$ rpm -ivh http://ftp.kddilabs.jp/Linux/packages/fedora/core/6/source/SRPMS/kcc-2.3-24.2.2.src.rpm
[user]$ rpmbuild -ba rpm/SPECS/kcc.spec
[user]$ sudo rpm -ivh /home/sabakan/rpm/RPMS/i386/kcc-2.3-24.2.2.i386.rpm

RRDtool

RRDtoolはfedoraのソースパッケージを再構築します。

[user]$ sudo yum install gcc-c++ openssl-devel freetype-devel libpng-devel zlib-devel libart_lgpl-devel python-devel php-devel tcl-devel
[user]$ rpm -ivh http://ftp.riken.jp/Linux/fedora/extras/6/SRPMS/rrdtool-1.2.15-6.fc6.src.rpm
[user]$ rpmbuild -ba rpm/SPECS/rrdtool.spec
[user]$ sudo rpm -ivh /home/sabakan/rpm/RPMS/i386/rrdtool-*.rpm

Net-SNMP

[user]$ sudo yum install net-snmp*

MySQL

Cactiは設定内容をMySQLに保管します。日本語を使用することを考慮し、文字コードはUTF-8に統一します。

[user]$ sudo yum install mysql mysql-server mysql-devel
[user]$ sudo vi /etc/my.cnf

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
bind-address=127.0.0.1
# Default to using old password format for compatibility with mysql 3.x
# clients (those using the mysqlclient10 compatibility package).
old_passwords=1
init_connect='SET NAMES utf8'
default-character-set=utf8

[mysql.server]
user=mysql
basedir=/var/lib

[mysqld_safe]
err-log=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[mysql]
default-character-set=utf8

[user]$ sudo /etc/init.d/mysqld start
[user]$ sudo /sbin/chkconfig mysqld on

SQLの実行結果が以下のようであることを確認して下さい。

[user]$ mysql
mysql> SHOW VARIABLES LIKE 'character\_set\_%';
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| character_set_client     | utf8  |
| character_set_connection | utf8  |
| character_set_database   | utf8  |
| character_set_results    | utf8  |
| character_set_server     | utf8  |
| character_set_system     | utf8  |
+--------------------------+-------+
6 rows in set (0.00 sec)

Plugin Architecture

Cacti Usersのプラグインを使用するには、Cactiのプログラムを置き換えるもしくはパッチを適用する必要があります。 今回はより簡単な方法であるプラグラムの置き換えを行います。 Cacti UsersサイトからPlugin Architectureをダウンロードします。 解凍したディレクトリ内のfiles-バージョン(今回files-0.8.6i)は必ずCactiのバージョン(今回0.8.6i)にあわせてください。

[user]$ wget http://download.cactiusers.org/downloads/cacti-plugin-arch.gzip
[user]$ tar -zvxf cacti-plugin-arch.tar.gz
[user]$ cd cacti-plugin-arch
[user]$ sudo cp -dR files-0.8.6i/* /var/www/html/cacti/

Thold

Cacti UsersサイトからTholdをダウンロードします。

[user]$ wget http://download.cactiusers.org/downloads/thold.gzip
[user]$ tar -zvxf thold-0.3.0.tar.gz
[user]$ sudo chown -R root:root thold
[user]$ sudo mv thold /var/www/html/cacti/plugins/
[user]$ sudo vi /var/www/html/cacti/include/config.php
$plugins = array();
$plugins[] = 'thold';

RRDにおけるデータ保存

RRD(Round Robin Database)は円周上にデータを格納する箱を配置(イメージ)します。 1日1個の箱を400日分用意したとすると、400日ではじめに用意した箱はすべて格納されます。 401日目はどうなるかというと、円周上を1週し1日目の箱を再利用(上書き)しデータを格納します。 以降再利用を繰り返し決められた期間(ここでは400日間)のデータを保存します。

Cactiのデフォルトの設定では797日分の箱が用意されています。 ただしこの箱は前述のように1日1個の箱しか用意されていません。 1つの箱はその期間の1つのデータ(平均値/最大値/最小値/最近値のうちどれか)しか格納できないため、取り出す際も用意した期間より短い期間のデータを取り出すことはできません。 つまり1日1箱では、1日のうちのある特定の時間帯のデータを取り出すことはできません。 1時間単位で取り出したい場合は1時間毎で箱を用意し、5分単位で取り出したい場合は5分毎で箱を用意する必要があります。

Cactiではこの箱をSteps、Rowsで管理します。 Stepsは参照単位を表し、最小単位は5分となり値を1とすると5分毎(5x1)、12とすると1時間毎(5x12)の箱を用意します。 Rowsは保存するデータ数(箱の個数)を指定します。

CactiデフォルトRRA

Cactiのデフォルトで用意されているDaily/Weekly/Monthly/Yearlyの4つのRRAをみてみましょう。

計算式
参照単位＝Steps×5(分)
保存期間＝参照単位×Rows
※表の最後の列Timespanは日単位、週単位、月単位、年単位でグラフを表示した際に表示する期間を分単位で表しています。

Rowsの計算

上記のように取り出したいデータが期間に応じて参照単位が異なることは運用上煩雑となるので

• 400日以内であれば5分毎のデータを取り出すことが可能

となるようSteps、Rowsを調整します。

※保存期間を変更する場合は、計算式の400(日)を変更してください。

RRAの設定

Daily/Weekly/Monthly/YearlyのRowsの値を変更します。

SNMPエージェント設定

[user]$ cd /etc/snmp
[user]$ sudo cp -p snmpd.conf snmpd.conf.dist
[user]$ sudo vi snmpd.conf

# Make at least  snmpwalk -v 1 localhost -c public system fast again.
#       name           incl/excl     subtree         mask(optional)
view    systemview    included   .1
view    systemview    included   .1.3.6.1.2.1.1
view    systemview    included   .1.3.6.1.2.1.25.1.1

[user]$ sudo /etc/init.d/snmpd restart

Cactiホスト登録

Cactiのホスト登録の練習を兼ねて実際に作業を行ってみます。

1. [console]タブをクリック
2. Create->[New Graphs]リンクをクリック
3. [Create New Host]リンクをクリック
4. Devices->[Description]に 説明 を入力
   Descriptionはグラフのヘッダに表示されます。
   Hostnameとあわせてホスト名、IPアドレスを登録してもよいかと思います。
5. Devices->[Hostname]に ホストまたはIPアドレス を入力
6. Devices->[Host Template]プルダウンメニューから ucd/net SNMP Host を選択
7. [save]ボタンをクリック
   実行後、SNMP Informationが取得できればSNMP接続は問題ありません。
8. [Create Graphs for this Host]リンクをクリック
9. Graph Templates、Data Queryのチェックボックスをすべてチェック
   チェックすると該当項目がオレンジ色に反転します。
10. [create]ボタンをクリック

Cactiグラフ登録

Cactiはホストの登録とともにグラフを登録する必要があります。 データ収集とグラフ表示の機能が独立しているため、柔軟にグラフを表示できます。 このあたりがMRTGとの大きな違い(メリット)だと思います。

1. [console]タブをクリック
2. Management->[Graph Trees]リンクをクリック
3. Graph Trees右の[Add]リンクをクリック
4. Graph Trees->[Name]に グラフツリー名 を入力
   ホスト登録時のDescriptionとあわせると管理がしやすいかと思います。
5. [create]ボタンをクリック
6. Tree Items右の[Add]リンクをクリック
7. Tree Items->[Tree Item Type]プルダウンメニューから Host を選択
8. Tree Item Value->[Host]プルダウンメニューから 登録したホスト を選択
9. [create]ボタンをクリック

このまましばらくたてば、データ収集が行われグラフを表示することができるようになります。

Tholdのテスト

登録したホストディスク使用量閾値に1を設定します。

1. [console]タブをクリック
2. Management->[Data Sources]リンクをクリック
3. 登録したホスト->[ucd/net - Hard Drive Space]リンクをクリック
4. Data Source Item->Mandatory settings->[High Threshold]に 1 を入力
5. [save]ボタンをクリック

1を超えた場合(確実に超えるでしょう)、設定したTholdのデフォルト設定で登録した通知先にアラートメールが飛びます。

To: 通知先メールアドレス 
Subject: 192.168.10.10 - Partition - /dev/mapper/Vol went above threshold of 1 with 5967632.3733 
Date: Tue, 16 Jan 2007 17:45:04 +0900 
From: Cacti <monitor@sabakan.info>

http://192.168.10.11/cacti//graph.php?local_graph_id=19&rra_id=1

ファイルアップロード

監視サーバの<path_cacti>/scripts(本環境では/var/www/html/cacti/scripts)にscp等を使用し下記ファイルをアップロードします。

• sabakan_memory.pl

CPANからNet::SNMPモジュールダウンロード、インストールします。

[user]$ wget http://search.cpan.org/CPAN/authors/id/D/DT/DTOWN/Net-SNMP-5.2.0.tar.gz
[user]$ tar -xvzf Net-SNMP-5.2.0.tar.gz
[user]$ cd Net-SNMP-5.2.0
[user]$ perl Makefile.PL
[user]$ make test
[user]$ sudo make install

同様に下記ファイルを<path_cacti>/resource/snmp_queries(本環境では/var/www/html/cacti/resource/snmp_queries)にアップロードします。

• sabakan_net-snmp_proc.xml

インポート

Host Templatesのインポートを行います。

1. [console]タブをクリック
2. Import/Export->[Import Templates]リンクをクリック
3. [Import Templates]->Import Template from Local Fileの[参照]ボタンをクリック
4. [cacti_host_template_sabakan_linux_host.xml]を選択
5. [save]ボタンをクリック

テンプレートインポート時に一部正常にインポートされない箇所がありますので修正を行います。

1. [console]タブをクリック
2. Collection Methods->[Data Input Methods]リンクをクリック
3. Data Input Methods->[Sabakan - Get Memory Usage]リンクをクリック
4. Data Input Methods->[Input String]テキストを修正
   perl <path_cacti>/scripts/sabakan_memory.pl <host><port><community><version>
   ↓
   perl <path_cacti>/scripts/sabakan_memory.pl <host> <port> <community> <version>
   <host>、<port>、<community>、<version>の間に半角スペースを挿入
5. [save]ボタンをクリック

ホスト登録

正常にインポートされたか確認するためホスト登録を行います。 SNMP接続確認と同じホストを登録します。

1. [console]タブをクリック
2. Create->[New Graphs]リンクをクリック
3. [Create New Host]リンクをクリック
4. Devices->[Description]に 説明 を入力
   SNMP接続確認と区別するため、異なる説明を入力してください。
5. Devices->[Hostname]に ホストまたはIPアドレス を入力
6. Devices->[Host Template]プルダウンメニューから Sabakan Linux Host を選択
7. [save]ボタンをクリック
8. [Create Graphs for this Host]リンクをクリック
9. Graph Templates、Data Queryのチェックボックスをすべてチェック
10. [create]ボタンをクリック

Process Count以外のグラフが表示されることを確認して下さい。

Traffic

トラフィックの収集は用意されているData Queriesの[SNMP - Interface Statistics] をそのまま使用します。

試しにHost Templateを作成してみます。

1. [console]タブをクリック
2. Templates->[Host Templates]リンクをクリック
3. Host Templates右の[Add]リンクをクリック
4. Host Templates->[Name]に Test Host Template を入力
5. Associated Data Queries->[Add Data Query]プルダウンメニューから SNMP - Interface Statistics を選択
6. [add]ボタンをクリック
7. [save]ボタンをクリック

このようにHost TemplateにはData Queryを登録することができます。

Load Average

ロードアベレージはGraph Templatesの[Sabakan - Load Average]を使用します。 Traffic同様Host Templateに追加します。

1. [console]タブをクリック
2. Templates->[Host Templates]リンクをクリック
3. Host Templates->[Test Host Template]リンクをクリック
4. Associated Graph Templates->[Add Graph Template]プルダウンメニューから Sabakan - Load Average を選択
5. [add]ボタンをクリック
6. [save]ボタンをクリック

先ほどTrafficではData Queryでしたが、今回はGraph Templateを登録しました。 したがってHost Templateには下記のいずれかを登録できます。

• Graph Template
• Data Query

Sabakan - Load AverageはGraph Templatesで用意されているucd/net - Load Averageをもとに作成しています。 ucd/net - Load Averageは1分間、5分間、15分間の平均ロードアベレージを積み上げてグラフ表示します。 ここで1分間、5分間、15分間を積み上げてグラフ化することにどんな意味があるのでしょうか？ サーバオペレーション(topコマンド等)を実行するさいLoad Averageを積み上げて状況を判断することは筆者の経験上ありません。 データ取得間隔が5分間であることから、5分間の平均Load Averageをグラフ化することが妥当と思われます。

CPU Usage

CPUに関する統計情報はucd/net - CPU Usageをもとに作成します。 ucd/net - CPU Usage はCPUの使用時間をグラフ表示しますが、ここでは使用時間ではなく使用率(%)を取得します。 また取得する項目もトラブルシューティングで頻繁に使用するvmstatコマンドにもとづき、user(us)、system(sy)、idle(id)、wait(wa)とします。

JM Project Manpage of VMSTATから引用

これらは CPU の総時間に対するパーセンテージである。
us: カーネルコード以外の実行に使用した時間 (ユーザー時間、nice 時間を含む)。
sy: カーネルコードの実行に使用した時間 (システム時間)。
id: アイドル時間。Linux 2.5.41 以前では、IO 待ち時間を含んでいる。
wa: IO 待ち時間。Linux 2.5.41 以前では、0 と表示される。

SNMPで取得するOIDを以下に示します。

• User:.1.3.6.1.4.1.2021.11.50.0
• System:.1.3.6.1.4.1.2021.11.52.0
• Idle:.1.3.6.1.4.1.2021.11.53.0
• Wait:.1.3.6.1.4.1.2021.11.54.0

上記OIDで取得できる値は、各項目がCPUを使用した時間となります。 時間の単位は100分の1単位(10ms)のデータとなりますので、パーセント表示するための係数100と相殺(1/100×100)され取得した値をそのまま使用することができます。

Disk Usage

閾値の設定を簡易化するため使用率で表します。 また、グラフにはパーティションの容量をコメント表示します。

Disk Usageを正しく使うためにはまず監視ターゲットの/etc/snmp/snmpd.confに下記のような行を追加する必要があります。

disk /     10000
disk /boot 10000
disk /var  10000
disk /usr  10000
disk /home 10000

パーティションは環境に合わせて設定してください。

Memory Usage

メモリ不足を判断するために物理メモリおよびスワップの使用率を取得します。 また、グラフには物理メモリおよびスワップの容量をコメント表示します。

SNMP経由でのメモリに関する情報は総容量、使用量といった数値が取得できますが、直接使用率を取得することができません。 そこでData Input Methodでperlスクリプト(sabakan_memory.pl)を使用しデータを計算します。 使用したOIDを以下に示します。

• memTotalSwap:.1.3.6.1.4.1.2021.4.3.0
• memAvailSwap:.1.3.6.1.4.1.2021.4.4.0
• memTotalReal:.1.3.6.1.4.1.2021.4.5.0
• memAvailReal:.1.3.6.1.4.1.2021.4.6.0

snmpwalkコマンドを使用する際は末尾の.0は必要ありませんが、snmpgetコマンド使用時は必須となります。 つけない場合下記エラーが発生します。

Error in packet
Reason: (noSuchName) There is no such variable name in this MIB.
Failed object: UCD-SNMP-MIB::memTotalSwap

Proc Count

プロセス数の統計情報は新規に作成しています。 Proc Countを正しく使うためにはまず監視ターゲットの/etc/snmp/snmpd.confに下記のような行を追加する必要があります。

proc atd
proc crond
proc klogd
proc syslogd
proc ntpd

起動数を調べたいプロセスや常に稼動している必要のあるプロセスを指定してください。 指定するプロセス名は下記コマンドにて調査できます。

[user]$ ps -e | awk {'print $4'} | sort -u | egrep -v "(ps|awk|sort|egrep|CMD)"

Disk Usage

まず警告閾値を設定します。 パーティションの使用量が80%を超えた場合通知されます。

1. [console]タブをクリック
2. Templates->[Threshold Templates]リンクをクリック
3. Threshold Templates右の[Add]リンクをクリック
4. [Please select a Data Template]プルダウンメニューから Sabakan - Disk Usage を選択
5. [go]ボタンをクリック
6. [Please select a Data Field]プルダウンメニューから hdd_warn を選択
7. [go]ボタンをクリック
8. Mandatory settings->[High Threshold]に 80 を入力
9. Other setting->[Alert E-Mail]に メールアドレス を入力
10. [save]ボタンをクリック

エラー閾値はデフォルトの通知先に設定します。 パーティションの使用量が90%を超えた場合通知されます。

1. [console]タブをクリック
2. Templates->[Threshold Templates]リンクをクリック
3. Threshold Templates右の[Add]リンクをクリック
4. [Please select a Data Template]プルダウンメニューから Sabakan - Disk Usage を選択
5. [go]ボタンをクリック
6. [Please select a Data Field]プルダウンメニューから hdd_err を選択
7. [go]ボタンをクリック
8. Mandatory settings->[High Threshold]に 90 を入力
9. [save]ボタンをクリック

Proc Count

プロセス監視はLISTENしないデーモンや常駐プロセスを監視するために行います。 監視対象プロセス数が1以下のときに通知を行います。

1. [console]タブをクリック
2. Templates->[Threshold Templates]リンクをクリック
3. Threshold Templates右の[Add]リンクをクリック
4. [Please select a Data Template]プルダウンメニューから Sabakan - Process Count を選択
5. [go]ボタンをクリック
6. [Please select a Data Field]プルダウンメニューから proc_count を選択
7. [go]ボタンをクリック
8. Mandatory settings->[Low Threshold]に 1 を入力
9. [save]ボタンをクリック

ここまでの作業が完了したら、稼動確認をおこなったDeviceを一度削除しホストの再登録をしてください。

テンプレートの適用

これまでと同様TholdでもTemplateを作成することができ監視対象追加時は容易に閾値を設定することができます。

1. [console]タブをクリック
2. Management->[Devices]リンクをクリック
3. Devicesの該当サーバのリンクをクリック
4. [Create Graphs for this Host]リンクをクリック
5. [Auto-create thresholds]リンクをクリック