・技術ブログを始めてみた。 続く続かない、とかよりはブログ書きたいと思えるような状況を作りたい。・今年初めて触ったもの ・AWS ・Vagrant ・Chef (Chef-solo, knife-solo, Chef-server) ・Serverspec ・Cassandra (OpsCenter, Jolokia) ・Maven ・nginx…

どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。アクセスログの可視化はよくあるやつなので細かい所は飛ばします。1段目：ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log fo</source>…

勉強会ブログたまりまくってるので今回は可及的速やかにさっくり書く。 資料やお名前は後で補完予定発表者多いので網羅できたか不安http://togetter.com/li/602421①@tagomorisさん 「fluent-plugin-norikra」 ・StreamにSQLクエリを書ける ・定間隔実行クエ…

これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ…

以前、「Vagrantでknife-solo＋Serverspecなboxを作っていた話」でした作業を Chef使ってるのに手作業はなかろうとChefのレシピに落とし込んでみました。作ったレシピは以下。[site-cookbooks/knifesolobox/recipes/default.rb] execute "install-chef" do u…

「Vagrantでknife-solo＋Serverspecなboxを作っていた話」のおまけ的な話です。VagrantとかChefとか使ってるとネットに様々アクセスすると思いますが、 企業によってはネットへのアクセスにProxyを使ってる所も多いかと思います。 これが非常に毎回色々はま…

「Kibana3+Elasticsearchを触ってみた話」の続き。 前回は設定周り飛ばしたのでその辺とか書くつもりだったのですが、 分割して色々書いたのでまとめっぽい。 ・環境 Vagrant＋VirtualBox＋Ubuntu12.04で試して 1週間くらい前からテスト環境のAWS上で動いて…

といっても設定はさほど難しくないです。 収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、 収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、 今…

Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。logstash形式にはしたばっかりでまだデータ溜まってないので…

indexはElasticsearchにおけるスキーマみたいなものなわけですが、 logstash形式（LogStashはjavaのログimport機構？）にした場合、 indexはimportした日毎に作成されます。 例えば今日から5日間Fluentdで取得し続けた場合、 logstash-2013.09.11 logstash-2…

Elasticsearchはスキーマレスなのでそのままデータ突っ込んでも動きますが、 デフォルトだとStringとして取り込まれるし、無駄に要素解析されます。 効率や検索性を考えて部分的にスキーマを先に設定しておきます。自分の場合、今回はApacheなログだったので…

最近Elasticsearchを触っているお話です。（といってもまだ1週間かそこら） 画像一杯で重いです注意・・・

http://atnd.org/event/E0018616 http://blog.johtani.info/blog/2013/08/30/hold-first-elasticsearch-meetup-in-japan/1. 「ElasticSearch入門」シーマーク 大谷さん http://blog.johtani.info/images/entries/20130830/IntroductionES20130829.pdf2. 「el…

http://connpass.com/event/3113/「第１部 ヌーラボのサービス開発の裏側公開しちゃいます」ヌーラボ 中村さん ヌーラボのサービス開発の裏側公開しちゃいます from ikikko Nakamura インフラ周りは最近触っているのと同じようなことをやはり考えてる印象。 …

6月くらいからVagrant＋knife-solo＋Serverspecを使っています。 これらのツールを使った記事は非常に多い昨今ですが、 自分の使い方を構築の仕方を簡単に書いてみようかと。■自分の使い方 よく見る記事はだいたいmacでローカルにVagrantとknife+Chefを入れ…

http://connpass.com/event/3083/ http://sstd-bigdata.blogspot.jp/2013/08/bigdata.html ①「Treasure Dataと連携するダッシュボードツール」 TD 田村さん ②「スモールデータ回帰分析ダッシュボード "adelie"」 Xica 海老原さん https://speakerdeck.com/xi…

http://www.zusaar.com/event/876003 http://gihyo.jp/news/report/2013/08/1901自分はこの分野は素人で理解が足りないのと UStreamが公開されているので内容については自分が気になった所だけ書きます。 ①『誰も語らないデータ分析の３つの現実』TD 田村さ…

いじってたの6月なので既にだいぶ忘れているのですが、 やりたかったこととしては、 ①attributes.yml方式で、fqdnではなくIPベースで通信先を指定したい。 ②複数host実行でもパスワード入力1回にしたい。 ③指定したhostに対して実行できるようにする。これら…

余りにアウトプットしないのでお品書きを強引に掲載。 最近（といっても2, 3ヶ月）やってた事とかを並べて次回以降への導線とする予定。6月くらいから手が空いてる時にツール色々ゴソゴソしてたりして、 最初はCassandraクラスタ＋OpsCenerをVagrant＋Virtua…

http://atnd.org/events/41286 ハッシュタグ #init_devops基本は資料が公開されるはずなのでピックアップ的に気になった内容＆感想を。 ・「DevOps の今とこれから」 伊藤 直也さん DevOpsの経緯や現状、そしてこれからの展望を非常にわかりやすく説明されて…

http://www.techfesta.jp/p/program-2.html http://togetter.com/li/533842何の略だろうと思ってたらJuly Tech Festaだった、Japanじゃないのか、、、 とか何が対象なんだろうとも思ったけどメインはインフラ技術者だったぽい。 聞いたものをソフトウェア技…

参考：http://togetter.com/li/520008 参考：http://www.slideshare.net/KyonMm/unittesttdd-tddmeetup初勉強会だったのですが感想を書いてみます。 （うまく表現できない上に主観が多いので要注意）「UnitTestは最もTDDしやすいテストであるかについて本気…

Cassandra+OpsCenterで遊ぼうとしてVMでいじってたのですが、 vagrant destroyする度に再度javaとCassandraとOpsCenter入れるのも 飽きてきたのでchef使って楽チン管理したくなりました。初めてのrubygemsやrbenvに悪戦苦闘しつつ knife solo動かすところま…

前回の続きというか、強引に終わらせる回https://github.com/mitchellh/vagrant/issues/921エラーが出るのはこのIssueぽい。 だいぶHotなエントリのようで、長いので英語を読むのは途中であきらめました。 Linux力が必要そうな匂いを感じる。あと、1は指定で…

Vagrantで複数VM立ち上げてIPを設定して使用したい用途があるとします。 例えば今回はCassandraのクラスタをローカルに立ててOpsCenterの機能を 試してみようと思っていたので次のようなVagrantfileを書きました。 # -*- mode: ruby -*- # vi: set ft=ruby :…

こんな感じのクラスがあって、 public class SampleCapture { public boolean execute(String input) { String processedInput = String.format("input: %s", input); boolean success = new SampleMock().accessSomething(processedInput); return success;…

こんな感じのクラスがあって、 public class Sample { public boolean execute(PrintWriter writer) { writer.println("start executing."); boolean success = new SampleMock().doSomething(); writer.println(success ? "execute successfully." : "faile…

仕事でCassandraを使うアプリを書いているが、 UTにDBUnit的なものが欲しくなりググッたらあったので 導入に1日格闘した内容を書こうと思う。 先にCassandra使用環境を書いておくと、 Cassandraサーバ：1.0.8 Cassandra Client：hector-core-1.0.2 最新版ど…