鱒身(Masu_mi)のブログ

知った事をメモする場所。

Vagrant: 仮想マシンのコピーとネットワーク

ZeroMQで遊んでいたらPub/Subに限りトランスポートプロトコルにPGM(RFC3208)を選択できる事を知った。 PGMUDPと同じトランスポートレイヤのプロトコルで動作するマルチキャストを提供する実験的なプロトコルで、実装にはOpenPGM がある。Blackduckをみると2011年頃には開発が止まっている。 EPGMはPGMUDP埋め込んだプロトコル

PGMの利用にはマルチキャストをサポートするデバイスを使って通信する必要がある。 だがループバックデバイスはマルチキャストをサポートしていない。

ifconfig で確認している図。マルチキャストはサポートされていなかった。

ifconfig によればloデバイスはMULTICASTをサポートしない

しかし他の仮想デバイス(enp0s9, …)はサポートしていた。 そこで現在のVMをコピーして内部ネットワーク内に2台起動している状態を作る事にした。 今の設定の時点で”public_network”を使っているため単純に2台起動するだけで仮想マシン間で通信可能になるが、別の機会に活かすためプライベートネットワークの設定も調べた。

Read more...

Elasticsearch メモ

Elasticsearchを利用するにあたり勉強したり復習した事のメモ。

../../../_images/logo-software-elasticsearch.svg

HTTP, TCPで検索・分析を実施できる分散検索クラスタ:

Elasticsearchは、様々なユースケースを解決する、分散型RESTful検索/分析エンジンです。予期した結果や、そうでないものまで検索できるようにデータを格納するElastic Stackの中核です。

ElasticsearchはHTTPで操作できるLuceneクラスタみたいなもの。検索としては、構造・非構造型データ・地理情報・メトリックなどを扱える。 検索以外にもAggregation, Suggestionも提供されている。

今回は後で調べやすくなるように基本的な資料のリンクをまとめて概念を整理する。その後で他のエコシステムとの繋がりや周辺ツールについて紹介する。 最後に運用上の注意事項や実際の利用の参考資料を載せる。

Read more...

Embulkを使ったメモ

Embulkを使った。バルクデータ転送用だけあって目的通りに使うと便利そう。 プラグインが多いのとプラグインを一般な人には書きやすそうなのが良い。でもJava, Ruby経験が浅いので、まだ慣れないけど作ることは出来た。

Embulkはバルクデータローダ:

Embulk is a open-source bulk data loader that helps data transfer between various databases, storages, file formats, and cloud services.
Embulkイメージ

Read more...

メトリクス可視化をやってみた(Diamond + InfluxDB + Grafana)

Diamond + InfluxDB + Grafanaでメトリックス集計した。無理やり入れた感が否めない。

今日の方針

  • 収集にはDiamondを使う
  • Diamondはvirtualenvのpython27環境にpipでインストールする
  • NginxのメトリックスもDiamondで収集する
  • InfluxDBGraphite_インタフェースを利用する
  • 可視化はGrafanaを利用する
  • Grafanaのユーザー管理はGithub OAuthを利用する

Read more...

CowrieをCentOS6で動かしてみた

SSHのHoneypotであるCowrieをCentOS 6で動かしてログを確認するところまでやってみた。

ハニーポットは実際にサイバー攻撃を受けたり悪性サイトにアクセスして攻撃情報を収集する。

元々は前者を指す言葉だけど、最近は巡回型とかクライアント型とか呼ばれるタイプもあるみたい。とりあえず従来のハニーポットを試した。

Read more...

RabbitMQ 利用開始

RabbitMQを使う時にだいたい忘れてしまうので次こそはスムースに利用できるように再びメモを残す。

Read more...

pedaを導入した

タイトル通りにpedaを導入した。gdbが豪華になるって目的だ。

peda 導入時のgdb起動結果

Exploitの開発サポートも入るし色々と解析に便利なコマンドも追加される。 とりあえずbt(backtrace) でmainの外側も表示してくれる。 また今回導入するにあたり.gdbinitにgdb初期化処理を書ける事を知った。

gdb拡張はpythonで作れるのでELFの知識強化の材料として勉強するのが良い気がした。

ストレージ関係のツールとか眺めてた

最近はデータ保存の観点で調べてみたり考えてみたりする事が増えてきた。 Storage Weekly で出てきたデータ保持・配信系ミドルウェアやツールを中心に調べてみた。

ストレージ・データベース・オーケストレーション・コンフィギュレーションは網羅的に探したくなるので今度に回す。 BlockChain もストレージやコンテンツ配信系に意外と応用されていたけど、アルゴリズムから押さえたいので勉強してから別途まとめる。

ユーザーデータは、4K・全天球画像・3Dモデルみたいに巨大化する方向とセンシングデータみたいに大量な小さい時系列データの方向が特に増加すると思ってる。

システムデータは今まで通り、リポジトリ・ログ・メトリクス・コンテンツ配信・アーカイブが主軸だけれど、 リポジトリはマシンイメージ・Dockerイメージ・DCOSパッケージが増えていきそう。またコンテンツ配信で学習モデルも加わる気がする。

Read more...