あらまし 以前に、『dstatをkibanaで可視化＋3.0.0milestone5新機能』という エントリでKibana3+dstatを使った可視化について書いたのですが、この中で構築の肝としてfluent-plugin-mapがありました。 Kibana3だと同一グラフ内に同一レコードの複数のfieldを…

fluentd-plugin-dstat_stdinぽいのを書いた話に引き続きfluentdオレオレplugin第2弾 fluent-plugin-mapのmultiにフォーカスしたconfigurationを提供するfluent-plugin-multimapを書きました。 何を解決したかったか dstatをkibanaで可視化＋3.0.0milestone5…

fluentdのpluginを書いてみたかったのもあって、 fluentd-plugin-dstat_stdinぽいのを書いてみました。 fluentdはオレオレpluginをgemにしないでも実行できる仕組みがあって、更にtd-agentはそれを非常に簡単に利用できます。 具体的には/etc/td-agent/plugi…

開発中の負荷試験をモニタリングしたくてdstat＋Kibanaで組んでみました。 通常モニタリングは専用のツール（muninとか）で行うと思いますが、 今回はfluentdとKibanaの組み合わせにdstatを絡めてみます。監視対象にはdstatとtd-agent、fluent-plugin-dstat…

どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。アクセスログの可視化はよくあるやつなので細かい所は飛ばします。1段目：ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log fo</source>…

勉強会ブログたまりまくってるので今回は可及的速やかにさっくり書く。 資料やお名前は後で補完予定発表者多いので網羅できたか不安http://togetter.com/li/602421①@tagomorisさん 「fluent-plugin-norikra」 ・StreamにSQLクエリを書ける ・定間隔実行クエ…

これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ…

「Kibana3+Elasticsearchを触ってみた話」の続き。 前回は設定周り飛ばしたのでその辺とか書くつもりだったのですが、 分割して色々書いたのでまとめっぽい。 ・環境 Vagrant＋VirtualBox＋Ubuntu12.04で試して 1週間くらい前からテスト環境のAWS上で動いて…

といっても設定はさほど難しくないです。 収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、 収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、 今…