読者です 読者をやめる 読者になる 読者になる

Fluentd(インストール編)

SSHクライアントツールって何を使っている?
私はMacではiTerm2、Winではputty使ってた。
元々、プライベート端末も業務端末もWinだったので、
putty一択で不満はありながらも使ってた。
プライベート端末をMacに変えてiTerm2を使いはじめると、
puttyへの不満が募っていった。
特に開発時にサーバ繋げまくりのウィンドウ開きまくりがいけないのだが、
開きたいウィンドウが分からなくなる。
その点、iTerm2は分割表示もタブ表示もできる。
WinはTeraTermputty以外を探したことがないわけではないのですが、
改めて最近Google先生に尋ねてみたところ、、、あった。

Poderosa

ポルトガル後らしく直訳するとパワフル。シンプル 笑
UIが素晴らしい。
分割表示、タブ表示はもちろんSSHセッション一つ一つにショートカットキーが割り当てたり、
分割のどこに割り当てるから自由に選択可能。
捗る。
ぜひ試してみてください。

Fluentd

さて、本題。
前々からよく耳にはしていたものの試せていなかったFluentdにようやく手を伸ばしました。
イメージとしては

  • 柔軟
  • 導入が簡単
  • 既存システムに影響を与えない
  • OSS

いいことだらけ?
そんな美味しい話ある?
あとで壺とか買わされない?

とりあえず試してみる。

本家サイトのトップページに書いてあるように

  • 入力
  • フィルター/バッファ
  • 出力

の流れで形成される。
単純に入力 -> 出力だけでもよい。

冗長化された複数のWebサーバのaccess_logをサーバ単位でタグ付けして集約して運用改善、とかそんな感じかな。

とりあえずインストールしてみた。

  • OS : CentOS7
インストール

本家サイトにあるがコマンド一発でインストールできます。

# curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh |sh
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   660  100   660    0     0  19078      0 --:--:-- --:--:-- --:--:-- 19411
This script requires superuser access to install rpm packages.
You will be prompted for your password by sudo.
curl: (6) Could not resolve host: packages.treasuredata.com; Unknown error
error: http://packages.treasuredata.com/GPG-KEY-td-agent: import read failed(2).
Loaded plugins: fastestmirror
base                                                                                                                                                                                                                  | 3.6 kB  00:00:00     
extras                                                                                                                                                                                                                | 3.4 kB  00:00:00     
treasuredata                                                                                                                                                                                                          | 2.9 kB  00:00:00     
updates                                                                                                                                                                                                               | 3.4 kB  00:00:00     
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.iij.ad.jp
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.iij.ad.jp
Resolving Dependencies
--> Running transaction check
---> Package td-agent.x86_64 0:2.1.5-0 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

=============================================================================================================================================================================================================================================
 Package                                                  Arch                                                   Version                                                  Repository                                                    Size
=============================================================================================================================================================================================================================================
Installing:
 td-agent                                                 x86_64                                                 2.1.5-0                                                  treasuredata                                                  99 M

Transaction Summary
=============================================================================================================================================================================================================================================
Install  1 Package

Total download size: 99 M
Installed size: 215 M
Downloading packages:
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
td-agent-2.1.5-0.x86_64.rpm  |  99 MB  00:00:43     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Warning: RPMDB altered outside of yum.
  Installing : td-agent-2.1.5-0.x86_64        1/1 
adding 'td-agent' group...
adding 'td-agent' user...
prelink detected. Installing /etc/prelink.conf.d/td-agent-ruby.conf ...
Configure td-agent to start, when booting up the OS...
  Verifying  : td-agent-2.1.5-0.x86_64        1/1 

Installed:
  td-agent.x86_64 0:2.1.5-0

Complete!
# rpm -q td-agent
td-agent-2.1.5-0.x86_64

簡単。
こぴぺで完了。
つまらないのでshファイルを覗いてみます。

]# cat install-redhat-td-agent2.sh 
echo "This script requires superuser access to install rpm packages."
echo "You will be prompted for your password by sudo."

# clear any previous sudo permission
sudo -k

# run inside sudo
sudo sh <<SCRIPT

  # add GPG key
  rpm --import http://packages.treasuredata.com/GPG-KEY-td-agent

  # add treasure data repository to yum
  cat >/etc/yum.repos.d/td.repo <<'EOF';
[treasuredata]
name=TreasureData
baseurl=http://packages.treasuredata.com/2/redhat/\$releasever/\$basearch
gpgcheck=1
gpgkey=http://packages.treasuredata.com/GPG-KEY-td-agent
EOF

  # update your sources
  yum check-update

  # install the toolbelt
  yes | yum install -y td-agent

SCRIPT

簡単。
予想通りですが。。
yumリポジトリを定義してyum install。

Syslogメッセージのコピー

まずは最もシンプルな設定からどんな感じか味わう。

  • 設定内容

/var/log/messagesに出力されたメッセージを
/var/log/td-agent/copy-messagesファイルへ転送する。

  • 設定ファイル

/etc/td-agent/td-agent.conf

sourceタグとmatchタグで入力と入力に対する処理内容を定義する。

# cat /etc/td-agent/td-agent.conf
<source>
  type tail
  path /var/log/messages
  pos_file /tmp/messages.pos
  format syslog
  tag syslog.messages
</source>

<match syslog.messages>
  type file
  path /var/log/td-agent/copy-messages
</match>

sourceタグ内に入力を定義する。
type tail => ファイルへの入力を追いかける
path => 指定されたファイルパスをtailの対象とする
pos_file => ファイルに対してどこまで処理したかを記録する
format => メッセージ形式の指定(syslogやapache2などがある)
tag => matchで引っ掛けるため

matchタグ内に入力に対する処理内容を定義する
matchで対象となるtagを指定する。*によるワイルドカード指定可能。
type file => ファイルへの出力
path => 指定されたファイルパスに対して出力する

fluentd起動
# /etc/init.d/td-agent restart
Restarting td-agent (via systemctl):            [  OK  ]
# cat /var/log/td-agent/copy-messages.20150325.b5121681c2e412c5c
2015-03-25T14:55:05+09:00	syslog.messages	{"host":"centos7-test","ident":"td-agent","message":"Starting td-agent: [  OK  ]"}
2015-03-25T14:55:05+09:00	syslog.messages	{"host":"centos7-test","ident":"systemd","message":"Started LSB: td-agent's init script."}

標準フォーマットでは日時、タグ、syslogフォーマットを分解したメッセージをJSON形式で記憶する。
確かに導入は簡単だし、
アプリケーションに設定を埋め込むわけではないので、
既存システムへの影響は少ないというのは納得。
ということでインストール編は以上。

次回はもう少し色々な入力プラグイン、出力プラグインを試しつつ、
実用的な検証をしてみよう。