以前、『dstatをkibanaで可視化』の話を書いたのですが、 この時の環境で色々不足があって手を加えたり、あるいはその時に気になった部分を後で改良したり、という事があって、 前回の記事『fluentd-plugin-dstat_stdinぽいのを書いた話』も この時の1つです…

fluentdのpluginを書いてみたかったのもあって、 fluentd-plugin-dstat_stdinぽいのを書いてみました。 fluentdはオレオレpluginをgemにしないでも実行できる仕組みがあって、更にtd-agentはそれを非常に簡単に利用できます。 具体的には/etc/td-agent/plugi…

JMeterでショボい理由で無駄にハマッたので自戒をこめて書く。 普段はWindows上からJMeter使ってたのだけど テスト対象の都合でLinuxから実施したかったので Windows上でテスト計画を作成し動作確認後、 保存したJMXファイルをLinux上にもっていって実行する…

開発中の負荷試験をモニタリングしたくてdstat＋Kibanaで組んでみました。 通常モニタリングは専用のツール（muninとか）で行うと思いますが、 今回はfluentdとKibanaの組み合わせにdstatを絡めてみます。監視対象にはdstatとtd-agent、fluent-plugin-dstat…

前回、@shiumachiさんの記事と@ymotongpooさんの記事を読んだにも関わらず、 挫折してしまったと書いたのですが、 冷静に読み返すと@shiumachiさんはvirtualenvの話などしておらず、 easy_installを5分で使えるようになるということだったので そのとおりに…

fabricのroleで試行錯誤した話もそうですが最近Fabricを少し触ってるのでその辺りのメモ。 ①proxy経由でfabricする"bundle installしたらプロキシに阻まれて失敗したので会社辞めます。"が話題になりましたが、、 ご多分にもれず私の現在の職場環境もProxyが…

http://elasticsearch.doorkeeper.jp/events/7491メモって即UP満々な気で行って英語で挫折して何もメモらなかったので、 記憶を頼りに感想を書きます。 ①「Geohashing with Elasticsearch」Florian Schilling, Elasticsearch Inc, GeoHashという単語を始めて…

普段は構築はChefで行うのですが、 コマンド実行もサポートしたい要件があったのでfabricを試してみました。 ただ、自分のやりたいことに対してroleの挙動が難しかったので 試行錯誤の様子をメモとして残します。 fabric初心者なのでこれが良い方法かどうか…

[概要] apt-get install や dpkg -i でインストールする際にdebパッケージに 含まれるファイルを先に配置しておくと出る更新確認メッセージをChefでスキップする方法。[答え]（正解かどうかは別として、、、） packageのoptionsで「-o Dpkg::Options::='--fo…

・技術ブログを始めてみた。 続く続かない、とかよりはブログ書きたいと思えるような状況を作りたい。・今年初めて触ったもの ・AWS ・Vagrant ・Chef (Chef-solo, knife-solo, Chef-server) ・Serverspec ・Cassandra (OpsCenter, Jolokia) ・Maven ・nginx…

どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。アクセスログの可視化はよくあるやつなので細かい所は飛ばします。1段目：ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log fo</source>…

勉強会ブログたまりまくってるので今回は可及的速やかにさっくり書く。 資料やお名前は後で補完予定発表者多いので網羅できたか不安http://togetter.com/li/602421①@tagomorisさん 「fluent-plugin-norikra」 ・StreamにSQLクエリを書ける ・定間隔実行クエ…

これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ…

以前、「Vagrantでknife-solo＋Serverspecなboxを作っていた話」でした作業を Chef使ってるのに手作業はなかろうとChefのレシピに落とし込んでみました。作ったレシピは以下。[site-cookbooks/knifesolobox/recipes/default.rb] execute "install-chef" do u…

「Vagrantでknife-solo＋Serverspecなboxを作っていた話」のおまけ的な話です。VagrantとかChefとか使ってるとネットに様々アクセスすると思いますが、 企業によってはネットへのアクセスにProxyを使ってる所も多いかと思います。 これが非常に毎回色々はま…

「Kibana3+Elasticsearchを触ってみた話」の続き。 前回は設定周り飛ばしたのでその辺とか書くつもりだったのですが、 分割して色々書いたのでまとめっぽい。 ・環境 Vagrant＋VirtualBox＋Ubuntu12.04で試して 1週間くらい前からテスト環境のAWS上で動いて…

といっても設定はさほど難しくないです。 収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、 収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、 今…

Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。logstash形式にはしたばっかりでまだデータ溜まってないので…

indexはElasticsearchにおけるスキーマみたいなものなわけですが、 logstash形式（LogStashはjavaのログimport機構？）にした場合、 indexはimportした日毎に作成されます。 例えば今日から5日間Fluentdで取得し続けた場合、 logstash-2013.09.11 logstash-2…

Elasticsearchはスキーマレスなのでそのままデータ突っ込んでも動きますが、 デフォルトだとStringとして取り込まれるし、無駄に要素解析されます。 効率や検索性を考えて部分的にスキーマを先に設定しておきます。自分の場合、今回はApacheなログだったので…

最近Elasticsearchを触っているお話です。（といってもまだ1週間かそこら） 画像一杯で重いです注意・・・

http://atnd.org/event/E0018616 http://blog.johtani.info/blog/2013/08/30/hold-first-elasticsearch-meetup-in-japan/1. 「ElasticSearch入門」シーマーク 大谷さん http://blog.johtani.info/images/entries/20130830/IntroductionES20130829.pdf2. 「el…

http://connpass.com/event/3113/「第１部 ヌーラボのサービス開発の裏側公開しちゃいます」ヌーラボ 中村さん ヌーラボのサービス開発の裏側公開しちゃいます from ikikko Nakamura インフラ周りは最近触っているのと同じようなことをやはり考えてる印象。 …

6月くらいからVagrant＋knife-solo＋Serverspecを使っています。 これらのツールを使った記事は非常に多い昨今ですが、 自分の使い方を構築の仕方を簡単に書いてみようかと。■自分の使い方 よく見る記事はだいたいmacでローカルにVagrantとknife+Chefを入れ…

http://connpass.com/event/3083/ http://sstd-bigdata.blogspot.jp/2013/08/bigdata.html ①「Treasure Dataと連携するダッシュボードツール」 TD 田村さん ②「スモールデータ回帰分析ダッシュボード "adelie"」 Xica 海老原さん https://speakerdeck.com/xi…

http://www.zusaar.com/event/876003 http://gihyo.jp/news/report/2013/08/1901自分はこの分野は素人で理解が足りないのと UStreamが公開されているので内容については自分が気になった所だけ書きます。 ①『誰も語らないデータ分析の３つの現実』TD 田村さ…

いじってたの6月なので既にだいぶ忘れているのですが、 やりたかったこととしては、 ①attributes.yml方式で、fqdnではなくIPベースで通信先を指定したい。 ②複数host実行でもパスワード入力1回にしたい。 ③指定したhostに対して実行できるようにする。これら…

余りにアウトプットしないのでお品書きを強引に掲載。 最近（といっても2, 3ヶ月）やってた事とかを並べて次回以降への導線とする予定。6月くらいから手が空いてる時にツール色々ゴソゴソしてたりして、 最初はCassandraクラスタ＋OpsCenerをVagrant＋Virtua…

http://atnd.org/events/41286 ハッシュタグ #init_devops基本は資料が公開されるはずなのでピックアップ的に気になった内容＆感想を。 ・「DevOps の今とこれから」 伊藤 直也さん DevOpsの経緯や現状、そしてこれからの展望を非常にわかりやすく説明されて…

http://www.techfesta.jp/p/program-2.html http://togetter.com/li/533842何の略だろうと思ってたらJuly Tech Festaだった、Japanじゃないのか、、、 とか何が対象なんだろうとも思ったけどメインはインフラ技術者だったぽい。 聞いたものをソフトウェア技…