Fluentd meetup in Japan 2に行ってきました。 #fluentd

いやー、めっちゃ楽しかったー！！
Treasure Dataの方々はやっぱり技術的にもすごいけど、それ以外の部分も素晴らしいと思った。 @doryokujin さんの司会力とか、もうこれエンジニアの回し方じゃない。色々とトラブルが多かったけど、トラブルを苦に感じさせないつなぎ方。見習っていきたい。
というわけで本編に行きます。

Fluentdの現在と未来

presenter: @frsyuki
slide: http://www.slideshare.net/treasure-data/fluentd-meetup-2

何故ロギングするか、という基本的な部分からFluentdの次バージョンについての話。

会場アンケートでドキュメントは英語だが足りていない人手を上げて、というアンケートで
殆どの人が足りていると回答。
※ドキュメント足りている！という事でいいでしょうか？と念押しされる。
※やっぱり足りてないって言いづらいよね・・・。

Fluentdの次のバージョンでは、以下の対応が入る様子。
・filter pluginでfilterの記述を簡潔にする。
・sourceにfilterを記載して取得する際にもうfilterする仕組みを入れる。
・filtering pipelineでfilter内にnestを書けるようにする。
・ラベリング機能で分かりやすく直感的な記述が可能になる。

また、td-agent-liteを実現することで、単一バイナリから tail と forwardが可能になる。
※ Windowsをsourceとして取得することも出来るようです。

個人的には Windows 対応してもらえるとうちの社内で使えるから嬉しいなって思ってた。

Logging Infrastructure in PaaS by Fluentd

presenter: @yssk22 and @wallyqs
slide: none.

Cloud FoundryでFluentdを使った時の話。
Cloud Foundryだとファイルが永続化されないので、ログ収集の際にはFluentdで送って永続化するのがオススメ。
という話。
なんとなく、この辺りからネットに繋がるためのID/passが出回り始めたので設定してて多少聞いてない箇所があった。
すいません。。。

Fluentdを優しく見守る監視事例

presenter: @GedowFather
slide: http://www.slideshare.net/fullscreen/GedowFather/fluentd-meetup-2-fluentd/1

実践事例紹介。
すごくためになった。
ちょうど自分もFluentdが変な動きをしたら再起動している箇所があり、それをすると
たまに複数デーモン起動してて動作が変になることが多かった。@GedowFatherさんの話で他の人がどうしているのか分かってすごくためになった。

monit で psコマンドを使って愚直にチェックしているとのこと。
あとは、flowcounter で fluentdの転送状態も監視することで正常動作を確認しているとのこと。

うーむ、fluentd が監視するはずなんだが、監視の監視が必要になってくるのはちょっとなぁとか思ってた。

※これ実は懇親会で @riywo さんや @karupanerura さんと話した時にもpush型通知は割りと誤動作なのか正常動作なのに送られていないのかの判断が難しいという話でちょっと盛り上がった。pull型で取ってくると呼び出し側で制御できるけど、push型だと通知された側で判断するのが難しいため、ローカル監視などでその辺りをケアする必要が出てくる。もしかしたら相対的にはあまり大変さは変わらないのかも、という話し合いをした。

なんとなく、websocketとpollingの話にも通じるものがある気がして面白かった。