Fluentd（インストール編）
SSHクライアントツールって何を使っている？
私はMacではiTerm2、Winではputty使ってた。
元々、プライベート端末も業務端末もWinだったので、
putty一択で不満はありながらも使ってた。
プライベート端末をMacに変えてiTerm2を使いはじめると、
puttyへの不満が募っていった。
特に開発時にサーバ繋げまくりのウィンドウ開きまくりがいけないのだが、
開きたいウィンドウが分からなくなる。
その点、iTerm2は分割表示もタブ表示もできる。
WinはTeraTerm、putty以外を探したことがないわけではないのですが、
改めて最近Google先生に尋ねてみたところ、、、あった。
Poderosa
ポルトガル後らしく直訳するとパワフル。シンプル 笑
UIが素晴らしい。
分割表示、タブ表示はもちろんSSHセッション一つ一つにショートカットキーが割り当てたり、
分割のどこに割り当てるから自由に選択可能。
捗る。
ぜひ試してみてください。
Fluentd
さて、本題。
前々からよく耳にはしていたものの試せていなかったFluentdにようやく手を伸ばしました。
イメージとしては
- 柔軟
- 導入が簡単
- 既存システムに影響を与えない
- OSS
いいことだらけ？
そんな美味しい話ある？
あとで壺とか買わされない？
とりあえず試してみる。
本家サイトのトップページに書いてあるように
- 入力
- フィルター/バッファ
- 出力
の流れで形成される。
単純に入力 -> 出力だけでもよい。
冗長化された複数のWebサーバのaccess_logをサーバ単位でタグ付けして集約して運用改善、とかそんな感じかな。
とりあえずインストールしてみた。
- OS : CentOS7
インストール
本家サイトにあるがコマンド一発でインストールできます。
# curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh |sh
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 660 100 660 0 0 19078 0 --:--:-- --:--:-- --:--:-- 19411
This script requires superuser access to install rpm packages.
You will be prompted for your password by sudo.
curl: (6) Could not resolve host: packages.treasuredata.com; Unknown error
error: http://packages.treasuredata.com/GPG-KEY-td-agent: import read failed(2).
Loaded plugins: fastestmirror
base | 3.6 kB 00:00:00
extras | 3.4 kB 00:00:00
treasuredata | 2.9 kB 00:00:00
updates | 3.4 kB 00:00:00
Loading mirror speeds from cached hostfile
* base: ftp.iij.ad.jp
* extras: ftp.iij.ad.jp
* updates: ftp.iij.ad.jp
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: ftp.iij.ad.jp
* extras: ftp.iij.ad.jp
* updates: ftp.iij.ad.jp
Resolving Dependencies
--> Running transaction check
---> Package td-agent.x86_64 0:2.1.5-0 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
=============================================================================================================================================================================================================================================
Package Arch Version Repository Size
=============================================================================================================================================================================================================================================
Installing:
td-agent x86_64 2.1.5-0 treasuredata 99 M
Transaction Summary
=============================================================================================================================================================================================================================================
Install 1 Package
Total download size: 99 M
Installed size: 215 M
Downloading packages:
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
td-agent-2.1.5-0.x86_64.rpm | 99 MB 00:00:43
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Warning: RPMDB altered outside of yum.
Installing : td-agent-2.1.5-0.x86_64 1/1
adding 'td-agent' group...
adding 'td-agent' user...
prelink detected. Installing /etc/prelink.conf.d/td-agent-ruby.conf ...
Configure td-agent to start, when booting up the OS...
Verifying : td-agent-2.1.5-0.x86_64 1/1
Installed:
td-agent.x86_64 0:2.1.5-0
Complete!
# rpm -q td-agent
td-agent-2.1.5-0.x86_64簡単。
こぴぺで完了。
つまらないのでshファイルを覗いてみます。
]# cat install-redhat-td-agent2.sh echo "This script requires superuser access to install rpm packages." echo "You will be prompted for your password by sudo." # clear any previous sudo permission sudo -k # run inside sudo sudo sh <<SCRIPT # add GPG key rpm --import http://packages.treasuredata.com/GPG-KEY-td-agent # add treasure data repository to yum cat >/etc/yum.repos.d/td.repo <<'EOF'; [treasuredata] name=TreasureData baseurl=http://packages.treasuredata.com/2/redhat/\$releasever/\$basearch gpgcheck=1 gpgkey=http://packages.treasuredata.com/GPG-KEY-td-agent EOF # update your sources yum check-update # install the toolbelt yes | yum install -y td-agent SCRIPT
Syslogメッセージのコピー
まずは最もシンプルな設定からどんな感じか味わう。
- 設定内容
/var/log/messagesに出力されたメッセージを
/var/log/td-agent/copy-messagesファイルへ転送する。
- 設定ファイル
/etc/td-agent/td-agent.conf
sourceタグとmatchタグで入力と入力に対する処理内容を定義する。
# cat /etc/td-agent/td-agent.conf <source> type tail path /var/log/messages pos_file /tmp/messages.pos format syslog tag syslog.messages </source> <match syslog.messages> type file path /var/log/td-agent/copy-messages </match>
sourceタグ内に入力を定義する。
type tail => ファイルへの入力を追いかける
path => 指定されたファイルパスをtailの対象とする
pos_file => ファイルに対してどこまで処理したかを記録する
format => メッセージ形式の指定(syslogやapache2などがある)
tag => matchで引っ掛けるため
matchタグ内に入力に対する処理内容を定義する
matchで対象となるtagを指定する。*によるワイルドカード指定可能。
type file => ファイルへの出力
path => 指定されたファイルパスに対して出力する
fluentd起動
# /etc/init.d/td-agent restart
Restarting td-agent (via systemctl): [ OK ]
# cat /var/log/td-agent/copy-messages.20150325.b5121681c2e412c5c
2015-03-25T14:55:05+09:00 syslog.messages {"host":"centos7-test","ident":"td-agent","message":"Starting td-agent: [ OK ]"}
2015-03-25T14:55:05+09:00 syslog.messages {"host":"centos7-test","ident":"systemd","message":"Started LSB: td-agent's init script."}標準フォーマットでは日時、タグ、syslogフォーマットを分解したメッセージをJSON形式で記憶する。
確かに導入は簡単だし、
アプリケーションに設定を埋め込むわけではないので、
既存システムへの影響は少ないというのは納得。
ということでインストール編は以上。
