fluentd-plugin-elasticsearchでのログ時刻の扱い

Elasticsearch fluentd

これまでの自分のElasticsearch関連の記事では"request_time"という独自に定義したラベルを用いて登録を行っていました。一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ…

2013-09-16

knife-solo用boxをchefで作ってみた

vagrant Chef

以前、「Vagrantでknife-solo＋Serverspecなboxを作っていた話」でした作業を Chef使ってるのに手作業はなかろうとChefのレシピに落とし込んでみました。作ったレシピは以下。[site-cookbooks/knifesolobox/recipes/default.rb] execute "install-chef" do u…

2013-09-15

Vagrantとか使う上ではまるProxyの話

vagrant

「Vagrantでknife-solo＋Serverspecなboxを作っていた話」のおまけ的な話です。VagrantとかChefとか使ってるとネットに様々アクセスすると思いますが、企業によってはネットへのアクセスにProxyを使ってる所も多いかと思います。これが非常に毎回色々はま…

2013-09-14

Elasticsearchを触ってみた話の続き

Elasticsearch Kibana3 fluentd

「Kibana3+Elasticsearchを触ってみた話」の続き。前回は設定周り飛ばしたのでその辺とか書くつもりだったのですが、分割して色々書いたのでまとめっぽい。・環境 Vagrant＋VirtualBox＋Ubuntu12.04で試して 1週間くらい前からテスト環境のAWS上で動いて…

2013-09-14

Elasticsearchにfluentdする設定とかlabelの話

Elasticsearch fluentd

といっても設定はさほど難しくないです。収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、今…

2013-09-13

Elasticsearchのhead plugin

Elasticsearch Kibana3

Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、本日早速試してみました。logstash形式にはしたばっかりでまだデータ溜まってないので…

2013-09-11

Elasticsearchのlogstash形式indexについて

Elasticsearch Kibana3

indexはElasticsearchにおけるスキーマみたいなものなわけですが、 logstash形式（LogStashはjavaのログimport機構？）にした場合、 indexはimportした日毎に作成されます。例えば今日から5日間Fluentdで取得し続けた場合、 logstash-2013.09.11 logstash-2…

2013-09-11

Elasticsearchにmappingをtemplate設定してみた

Elasticsearch

Elasticsearchはスキーマレスなのでそのままデータ突っ込んでも動きますが、デフォルトだとStringとして取り込まれるし、無駄に要素解析されます。効率や検索性を考えて部分的にスキーマを先に設定しておきます。自分の場合、今回はApacheなログだったので…

2013-09-11

Kibana3+Elasticsearchを触ってみた話

Elasticsearch Kibana3

最近Elasticsearchを触っているお話です。（といってもまだ1週間かそこら）画像一杯で重いです注意・・・

2013-09-10

Elasticsearch勉強会[8/29(Thu.)]に参加してきました。

Elasticsearch 勉強会

http://atnd.org/event/E0018616 http://blog.johtani.info/blog/2013/08/30/hold-first-elasticsearch-meetup-in-japan/1. 「ElasticSearch入門」シーマーク大谷さん http://blog.johtani.info/images/entries/20130830/IntroductionES20130829.pdf2. 「el…

2013-09-10

bpstudy#72[8/28(Wed.)]に参加してきました。

Web技術勉強会

http://connpass.com/event/3113/「第１部ヌーラボのサービス開発の裏側公開しちゃいます」ヌーラボ中村さんヌーラボのサービス開発の裏側公開しちゃいます from ikikko Nakamura インフラ周りは最近触っているのと同じようなことをやはり考えてる印象。 …

2013-09-08

Vagrantでknife-solo＋Serverspecなboxを作っていた話

vagrant Chef serverspec

6月くらいからVagrant＋knife-solo＋Serverspecを使っています。これらのツールを使った記事は非常に多い昨今ですが、自分の使い方を構築の仕方を簡単に書いてみようかと。■自分の使い方よく見る記事はだいたいmacでローカルにVagrantとknife+Chefを入れ…

2013-09-08

BIGDATAダッシュボード勉強会[2013/08/22(Thu.)]に参加してきました。

Data Analysis 勉強会

http://connpass.com/event/3083/ http://sstd-bigdata.blogspot.jp/2013/08/bigdata.html ①「Treasure Dataと連携するダッシュボードツール」 TD 田村さん ②「スモールデータ回帰分析ダッシュボード "adelie"」 Xica 海老原さん https://speakerdeck.com/xi…

2013-09-08

データサイエンティストの始め方[2013/8/9 (Fri.)]に参加してきました。

Data Analysis 勉強会

http://www.zusaar.com/event/876003 http://gihyo.jp/news/report/2013/08/1901自分はこの分野は素人で理解が足りないのと UStreamが公開されているので内容については自分が気になった所だけ書きます。 ①『誰も語らないデータ分析の３つの現実』TD 田村さ…