ほわいとぼーど

ぷろぐらまのメモ帳

Elasticsearch

Kibana4 + dstat の話

あらまし 以前に、『dstatをkibanaで可視化+3.0.0milestone5新機能』という エントリでKibana3+dstatを使った可視化について書いたのですが、この中で構築の肝としてfluent-plugin-mapがありました。 Kibana3だと同一グラフ内に同一レコードの複数のfieldを…

dstatをkibanaで可視化+3.0.0milestone5新機能

開発中の負荷試験をモニタリングしたくてdstat+Kibanaで組んでみました。 通常モニタリングは専用のツール(muninとか)で行うと思いますが、 今回はfluentdとKibanaの組み合わせにdstatを絡めてみます。監視対象にはdstatとtd-agent、fluent-plugin-dstat…

第3回elasticsearch勉強会 [2014/02/07(Fri.)]に参加してきました

http://elasticsearch.doorkeeper.jp/events/7491メモって即UP満々な気で行って英語で挫折して何もメモらなかったので、 記憶を頼りに感想を書きます。 ①「Geohashing with Elasticsearch」Florian Schilling, Elasticsearch Inc, GeoHashという単語を始めて…

Kibana向けFluentd設定例①アクセスログ可視化

どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。アクセスログの可視化はよくあるやつなので細かい所は飛ばします。1段目:ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log fo</source>…

fluentd-plugin-elasticsearchでのログ時刻の扱い

これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ…

Elasticsearchを触ってみた話の続き

「Kibana3+Elasticsearchを触ってみた話」の続き。 前回は設定周り飛ばしたのでその辺とか書くつもりだったのですが、 分割して色々書いたのでまとめっぽい。 ・環境 Vagrant+VirtualBox+Ubuntu12.04で試して 1週間くらい前からテスト環境のAWS上で動いて…

Elasticsearchにfluentdする設定とかlabelの話

といっても設定はさほど難しくないです。 収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、 収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、 今…

Elasticsearchのhead plugin

Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。logstash形式にはしたばっかりでまだデータ溜まってないので…

Elasticsearchのlogstash形式indexについて

indexはElasticsearchにおけるスキーマみたいなものなわけですが、 logstash形式(LogStashはjavaのログimport機構?)にした場合、 indexはimportした日毎に作成されます。 例えば今日から5日間Fluentdで取得し続けた場合、 logstash-2013.09.11 logstash-2…

Elasticsearchにmappingをtemplate設定してみた

Elasticsearchはスキーマレスなのでそのままデータ突っ込んでも動きますが、 デフォルトだとStringとして取り込まれるし、無駄に要素解析されます。 効率や検索性を考えて部分的にスキーマを先に設定しておきます。自分の場合、今回はApacheなログだったので…

Kibana3+Elasticsearchを触ってみた話

最近Elasticsearchを触っているお話です。(といってもまだ1週間かそこら) 画像一杯で重いです注意・・・

Elasticsearch勉強会[8/29(Thu.)]に参加してきました。

http://atnd.org/event/E0018616 http://blog.johtani.info/blog/2013/08/30/hold-first-elasticsearch-meetup-in-japan/1. 「ElasticSearch入門」シーマーク 大谷さん http://blog.johtani.info/images/entries/20130830/IntroductionES20130829.pdf2. 「el…