読者です 読者をやめる 読者になる 読者になる

ほわいとぼーど

ぷろぐらまのメモ帳

既存のGitレポジトリから新しいレポジトリへ複数の要素を分割する (不完全)

Git

既にあるレポジトリの一部をコミット履歴ごと別のレポジトリに移したいという例のアレです。 (repo_A) ├aaa/ ├bbb/ ├ccc └ddd という構成の既存レポジトリがあって、これを元に次の新しいレポジトリ (repo_B) ├aaa/ └ccc としたい。 まず複製する mkdir repo…

ふるさと納税してみた話

ふるさと納税を使ってみたので思ったことをメモ。 「ふるさと納税は本当にお得なのか?」みたいな話はクリア済みとします。 クリスマスイブにTwitterで「宮崎県都城市のお礼品の再入荷がされた」(意訳)を見て注文寄付してみた。 寄付にはふるさとチョイスと…

Terraform 0.6.16 で格闘したことのメモ

Terraformの現バージョン(0.6.16)で相対した悩ましい問題のメモ。 暫定対処したが根本解決はしてない?。次のバージョンでは一部しそう。 aws_route_tableのrouteを削除しても適用されない 差分も出ないし実行もされない。 Issueが出ている -> Inline routes…

lambda-uploader (VirtualBox shared folder on Windows)で「Exception: virtualenv returned unsuccessfully」

Windows10上で、Docker Toolboxでlambda-uploader(virtualenv)を動かしたらエラーが出たので調べたメモ。 $lambda-uploader --no-upload -VV 中略 DEBUG:lambda_uploader.package:Virtualenv stderr: Traceback (most recent call last): File "/usr/local/b…

Infrastructure as Code [2016/07/07 Thu.]を聴いてきた話

Recruit Technologies Open Lab #03 テーマ:Infrastructure as Codeに参加して来ました。 自分にとってのDevOpsやInfrastructure as Codeは3年前くらいから始まっていて、 特に「はじめるDevOps」、 「JTF2013」への参加が印象に強いので、 Naoyaさん、ryuz…

hashicorp/go-pluginを試しかけたメモ

GolangでPlugin機構を使ってみたくなった。 Golangは1binaryが利点の1つだと思っているけど、 本体とPluginを分離することによりPlugin開発速度と本体の堅牢さの両立を 維持したいケースもあると思います。 例えばmackerelio/mackerel-agent-pluginsなんかは…

雑にAWSリソースにboto3でタグつけてみたのだが

既存のAWSリソースに管理のためにタグ付け直すことになり それ用のスクリプトを適当に書いたのだが、 なんでリソース毎にAPIが全然違うのか、という気分になったのでメモる。 ちなみにboto3です。 EC2 read ec2 tag client = boto3.client('ec2', "ap-northe…

開発環境をDockerにした話

若干釣りタイトルっぽい。 どの開発環境かという話だけど、自分の場合、 インフラ用途のちょっとしたPythonスクリプトの開発 Terraformをローカルから実行する 開発したAnsibleのRoleをローカルで試す golangの開発をローカルで行う みたいなのをこれまではV…

Docker Toolboxで時刻を合わせる話

Docker ToolboxでDocker使っていて時刻がずれて 直し方をなんだかんだで何度か調べているのでメモっておく。 (自分が欲しい方法が一発で検索されない) ググると何種類か方法が出てくるのだが自分が直したい場面はそんな致命的じゃなくて スリープ直後に時間…

Windosw環境のDocker Toolboxでshared foldersのpermission設定する話

最近、VagrantをDockerに置き換え始めてるのだけど、 以前*1と同じ問題が発生したので対応した。 Docker Toolboxも裏側はVirtualbox + boot2dockerなので基本は一緒なのだが、 Docker Toolxoxだと今のところ設定でどうにかする方法は用意されてなさそうなの…

2段階認証+Windows10+SourceTree+Github

先日、「AWSとGitHubに2段階認証の導入」という記事を見かけたのと 同僚が2段階認証を啓蒙していたので設定することにした。 MFA用のアプリはGoogleAuthenticatorをこれまで使っていたのだけれど、Authyに変更した。 多数並んだ時にアイコン付きで非常にわか…

2015年振り返り

適当メモ 雑感 SIerから事業会社に転職して1年以上が経ちました。 転職自体はおおむね満足しています。 やりたい事がやれる、というと若干語弊があるのですが、 不足しているものはいくらでもあって気づいた人が手を上げればやれる、という感じでしょうか。 …

Mackerelで予測する的な話を試したり発展させたりする

『年末年始のディスク容量アラートを回帰分析で回避しよう』という最高の記事が公開されたので試してみました。また、追加で自分が試してみたいことを試してみた話。 経緯 MackerelでAlertが出たらSlackの特定チャンネルにメンションするという運用にしてい…

Mackerel Meetup #5に参加した話

9/17に マークシティで開催されたMackerel Meetup #5 参加してきました。 進化の早いMackerelですが一周年記念だそうです。おめでとうございます! 当日の雑なメモと簡単な感想です。 1. はてな stanakaさん 「Mackerelの最初の1年と今後」 1周年 一升餅作っ…

(ネタ)Slack+Hubotでファイルアップロードする話

深遠な理由*1によりファイルアップロードをSlack経由で行いたい。 アップロード先はAWS S3なのですが、ここではAWSの世界にファイルを持ち込むまでを書きます。 普通、ファイルアップロードしたいとなれば入り口としてWebサーバ的なものが必要ですが、 ちょ…

Kibana4 + dstat の話

あらまし 以前に、『dstatをkibanaで可視化+3.0.0milestone5新機能』という エントリでKibana3+dstatを使った可視化について書いたのですが、この中で構築の肝としてfluent-plugin-mapがありました。 Kibana3だと同一グラフ内に同一レコードの複数のfieldを…

YAPC::Asia Tokyo 2015に参加した話

YAPC::Asia Tokyo 2015に参加した話 2015/08/20-22に東京ビックサイトで開催されたYAPC::Asia Tokyo 2015に参加してきました。 参加メモ: YAPC参加メモ 8/20 前夜祭 YAPC参加メモ 8/21 1日目 YAPC参加メモ 8/22 2日目 今週はhatenaの人と話す機会があったり…

YAPC参加メモ 8/22 2日目

YAPC参加メモ 8/22 2日目 YAPC参加メモ 8/20 前夜祭 YAPC参加メモ 8/21 1日目 Mackerel開発におけるScalaとGo、そしてPerl songmuさん 趣味CPANIZE Mackerelの開発 新機能 外形監視 外部からクローリング監視 オンプレ構築 AWS障害とは無関係 LVS nginx scal…

YAPC参加メモ 8/21 1日目

YAPC参加メモ 8/21 1日目 メリークリスマス Larry Wall ホビット物語 指輪物語 スタートレック 2015/12/24 perl6 1.0出るかも?(バスに轢かれなければ) いきなりホビット物語と指輪物語から入っていてオーディエンスが付いてきてなさげではあった。 バスには…

YAPC参加メモ 8/20 前夜祭

YAPC参加メモ 8/20 前夜祭 言語開発の現場 ペパボ柴田さん ruby開発の現場の裏側紹介 MatzはDirector 数年はrubyコードは書いていない 担当領域はあったりなかったり。 サポートしてくれる人が居ればサポートOSになる Windowsの方がOX Xよりサポート早いかも…

Ansible Dark Side

Ansibleは非常にシンプルかつ強力なツールですが、 様々な設定方法・書き方が許容されるがゆえにやり過ぎると収集がつかなくなります。 そんな若干やりすぎかもしれない設定の一部を晒してみます。 タイトルは若干大げさですが、お勧めするような設定ではな…

Ansible入門を開催した話

だいぶ時間がたってしまいましたが、 7月1日にAnsible入門をハンズオン形式で 開催しました。 弊社ではエンジニア・デザイナー・ライター陣の取り組みとして 毎日何かしらの勉強会を開催 していてその一環ですが、 折角なので何かテーマを持って実施したいと…

Mackerel Meetup #4 Tokyo で発表してきた話

5/26 (Tue.)にMackerel Meetup #4 Tokyo にて、自社サービスでMackerel導入して使っている話をしてきました。 ビズリーチの新サービスとMackerel from Kimiya Sato www.slideshare.net 発表にいたるには色々と乗り越えなきゃならない壁があって、 自分なんか…

rootでjstatできなかった話(Jdk8u40)

jdk

※この話は時限的なものなので注意が必要です。 sudo jstat が実行できずにハマりました。 sudo jpsを実施するとprocess information unavailableと表示されます。 最初はjdk 8u40で遭遇したのですが、jdk 8u31以降のようです。 java実行ユーザでは実行できま…

Ansible1.9+centos6.5でAlternativesが動かなくてハマッた話

※この話は時限的なものなので注意が必要です。 ※自分が把握してるのはcentos 6.5 + ansible 1.9.0.1-2.el6の話です。 ※(4/30追記)Ansible1.9.1が4/28にリリースされcentos6.5でもAlternativesモジュールが動作しました。 2015/03/25にAnsible 1.9 がリリース…

2014年振り返り

2014年振り返り 今年は色々とタフな1年でした。 7月にSIerからIT事業会社に転職しました。 元々はJava屋でしたが、今はインフラ担当的なところをやってます。 DevOpsっぽい立ち居地でいければいいかなと。 新鮮な気持ちで色々挑戦してます。 あとは転職後す…

Windows環境のVagrantでsynced_folder時にpermission設定する話

ぬわー、synced_folderのファイル権限0777になるの何とかならんかーー ansibleのhostsがexecutableになるとめんどい!— a3no (@a3noplus) 2014, 9月 27 と思って書いてからググッたらどうやら設定できるっぽい。現在リロード中。。。。— a3no (@a3noplus) 20…

fluent-plugin-multimapぽいのを書いた話

fluentd-plugin-dstat_stdinぽいのを書いた話に引き続きfluentdオレオレplugin第2弾 fluent-plugin-mapのmultiにフォーカスしたconfigurationを提供するfluent-plugin-multimapを書きました。 何を解決したかったか dstatをkibanaで可視化+3.0.0milestone5…

dstatをちょっとだけ改造する話

以前、『dstatをkibanaで可視化』の話を書いたのですが、 この時の環境で色々不足があって手を加えたり、あるいはその時に気になった部分を後で改良したり、という事があって、 前回の記事『fluentd-plugin-dstat_stdinぽいのを書いた話』も この時の1つです…

fluentd-plugin-dstat_stdinぽいのを書いた話

fluentdのpluginを書いてみたかったのもあって、 fluentd-plugin-dstat_stdinぽいのを書いてみました。 fluentdはオレオレpluginをgemにしないでも実行できる仕組みがあって、更にtd-agentはそれを非常に簡単に利用できます。 具体的には/etc/td-agent/plugi…

JMeterでハマッた話

JMeterでショボい理由で無駄にハマッたので自戒をこめて書く。 普段はWindows上からJMeter使ってたのだけど テスト対象の都合でLinuxから実施したかったので Windows上でテスト計画を作成し動作確認後、 保存したJMXファイルをLinux上にもっていって実行する…

dstatをkibanaで可視化+3.0.0milestone5新機能

開発中の負荷試験をモニタリングしたくてdstat+Kibanaで組んでみました。 通常モニタリングは専用のツール(muninとか)で行うと思いますが、 今回はfluentdとKibanaの組み合わせにdstatを絡めてみます。監視対象にはdstatとtd-agent、fluent-plugin-dstat…

fabricをeasy_installでインストールする

前回、@shiumachiさんの記事と@ymotongpooさんの記事を読んだにも関わらず、 挫折してしまったと書いたのですが、 冷静に読み返すと@shiumachiさんはvirtualenvの話などしておらず、 easy_installを5分で使えるようになるということだったので そのとおりに…

fabricでProxyを解決したりメモ

fabricのroleで試行錯誤した話もそうですが最近Fabricを少し触ってるのでその辺りのメモ。 ①proxy経由でfabricする"bundle installしたらプロキシに阻まれて失敗したので会社辞めます。"が話題になりましたが、、 ご多分にもれず私の現在の職場環境もProxyが…

第3回elasticsearch勉強会 [2014/02/07(Fri.)]に参加してきました

http://elasticsearch.doorkeeper.jp/events/7491メモって即UP満々な気で行って英語で挫折して何もメモらなかったので、 記憶を頼りに感想を書きます。 ①「Geohashing with Elasticsearch」Florian Schilling, Elasticsearch Inc, GeoHashという単語を始めて…

fabricのroleで試行錯誤した話

普段は構築はChefで行うのですが、 コマンド実行もサポートしたい要件があったのでfabricを試してみました。 ただ、自分のやりたいことに対してroleの挙動が難しかったので 試行錯誤の様子をメモとして残します。 fabric初心者なのでこれが良い方法かどうか…

Chefでapt/dpkg時のファイル更新確認をskipする

[概要] apt-get install や dpkg -i でインストールする際にdebパッケージに 含まれるファイルを先に配置しておくと出る更新確認メッセージをChefでスキップする方法。[答え](正解かどうかは別として、、、) packageのoptionsで「-o Dpkg::Options::='--fo…

2013年振り返り

・技術ブログを始めてみた。 続く続かない、とかよりはブログ書きたいと思えるような状況を作りたい。・今年初めて触ったもの ・AWS ・Vagrant ・Chef (Chef-solo, knife-solo, Chef-server) ・Serverspec ・Cassandra (OpsCenter, Jolokia) ・Maven ・nginx…

Kibana向けFluentd設定例①アクセスログ可視化

どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。アクセスログの可視化はよくあるやつなので細かい所は飛ばします。1段目:ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log fo</source>…

Fluentd Casual Talks #3[2013/12/13(Fri.)]に参加してきました。

勉強会ブログたまりまくってるので今回は可及的速やかにさっくり書く。 資料やお名前は後で補完予定発表者多いので網羅できたか不安http://togetter.com/li/602421①@tagomorisさん 「fluent-plugin-norikra」 ・StreamにSQLクエリを書ける ・定間隔実行クエ…

fluentd-plugin-elasticsearchでのログ時刻の扱い

これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ…

knife-solo用boxをchefで作ってみた

以前、「Vagrantでknife-solo+Serverspecなboxを作っていた話」でした作業を Chef使ってるのに手作業はなかろうとChefのレシピに落とし込んでみました。作ったレシピは以下。[site-cookbooks/knifesolobox/recipes/default.rb] execute "install-chef" do u…

Vagrantとか使う上ではまるProxyの話

「Vagrantでknife-solo+Serverspecなboxを作っていた話」のおまけ的な話です。VagrantとかChefとか使ってるとネットに様々アクセスすると思いますが、 企業によってはネットへのアクセスにProxyを使ってる所も多いかと思います。 これが非常に毎回色々はま…

Elasticsearchを触ってみた話の続き

「Kibana3+Elasticsearchを触ってみた話」の続き。 前回は設定周り飛ばしたのでその辺とか書くつもりだったのですが、 分割して色々書いたのでまとめっぽい。 ・環境 Vagrant+VirtualBox+Ubuntu12.04で試して 1週間くらい前からテスト環境のAWS上で動いて…

Elasticsearchにfluentdする設定とかlabelの話

といっても設定はさほど難しくないです。 収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、 収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、 今…

Elasticsearchのhead plugin

Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。logstash形式にはしたばっかりでまだデータ溜まってないので…

Elasticsearchのlogstash形式indexについて

indexはElasticsearchにおけるスキーマみたいなものなわけですが、 logstash形式(LogStashはjavaのログimport機構?)にした場合、 indexはimportした日毎に作成されます。 例えば今日から5日間Fluentdで取得し続けた場合、 logstash-2013.09.11 logstash-2…

Elasticsearchにmappingをtemplate設定してみた

Elasticsearchはスキーマレスなのでそのままデータ突っ込んでも動きますが、 デフォルトだとStringとして取り込まれるし、無駄に要素解析されます。 効率や検索性を考えて部分的にスキーマを先に設定しておきます。自分の場合、今回はApacheなログだったので…

Kibana3+Elasticsearchを触ってみた話

最近Elasticsearchを触っているお話です。(といってもまだ1週間かそこら) 画像一杯で重いです注意・・・

Elasticsearch勉強会[8/29(Thu.)]に参加してきました。

http://atnd.org/event/E0018616 http://blog.johtani.info/blog/2013/08/30/hold-first-elasticsearch-meetup-in-japan/1. 「ElasticSearch入門」シーマーク 大谷さん http://blog.johtani.info/images/entries/20130830/IntroductionES20130829.pdf2. 「el…