鱒身(Masu_mi)のブログ

知った事をメモする場所。

ストレージ関係のツールとか眺めてた

最近はデータ保存の観点で調べてみたり考えてみたりする事が増えてきた。 Storage Weekly で出てきたデータ保持・配信系ミドルウェアやツールを中心に調べてみた。

ストレージ・データベース・オーケストレーション・コンフィギュレーションは網羅的に探したくなるので今度に回す。 BlockChain もストレージやコンテンツ配信系に意外と応用されていたけど、アルゴリズムから押さえたいので勉強してから別途まとめる。

ユーザーデータは、4K・全天球画像・3Dモデルみたいに巨大化する方向とセンシングデータみたいに大量な小さい時系列データの方向が特に増加すると思ってる。

システムデータは今まで通り、リポジトリ・ログ・メトリクス・コンテンツ配信・アーカイブが主軸だけれど、 リポジトリはマシンイメージ・Dockerイメージ・DCOSパッケージが増えていきそう。またコンテンツ配信で学習モデルも加わる気がする。

ストレージ関係のニュース取得元

star ranking(Golang * Storage) を眺めると読みやすいストレージを探せる。

ストレージのニュースは下のところで探すのが良さそう、もっと選別しないと多くて邪魔になる。

そろそろ大きなカンファレンスは日常的に追うようにしようと思った。

arxiv にカテゴリがあったけど情報系ってカンファレンスが重視される領域みたいで物理よりも更に石が多そう。

アプリケーションコンポーネント

Imstore
サムネとかを簡単に生成管理するWEBツール
Kinto
WebApplication環境を主に想定しJSONを共有する事に注力したストレージ データモデルはBucket/Collection/Record/Data という階層構造で管理されている。 認証・暗号化・JSONSchemaによるバリデーション・WebAPIが提供されている。 プラグイン機構がありPush通知やAdminUIなどがすぐに利用可能になっている。 Pyramid, PostgreSQLで実装されている。 どの程度スケールするかで使い勝手が分かれるけど簡単にAPIサーバーを作れる感じがあり良さそうに感じた。
s3git
オブジェクトストレージ上にgit風のバージョン管理を実現するツール 使い道と効率がよくわからない。

個人向けメディアストレージ

Syncany
セキュリティと抽象化に特化したGatewayミドルウェアでバックエンドに色々なクラウドサービスも利用できる。 暗号化した上で格納するのでセンシティブな情報もクラウドに置けるよっていう仕組み。 どちらかというとDropbox, Camilistoreとかの競合CLIかもと思った。
camlistore
少し前に話題に上っていた personal storage systemがある。 個人向けストレージでContent-Adressable Storageなようだ。 バージョンコントロールもありライフイベントを保存する様子。 multi-tenancyはIssueにあるけどサポートしてなさそう。

リポジトリ

リポジトリミドルウェアは色々ある有名どころ(Archiva, Nexus, Artifactory)の比較記事があった

Artifactory
対応フォーマット多いリポジトリミドルウェア
Speedy
分散 Dockerイメージリポジトリ

PaaS

PaaS基盤はいくつかありLT資料で並べてくれているのがある。

Deis
Minioとの組み合わせエントリが出てMinio界隈が賑わっていた

バックアップ

restic
ローカルストレージ, S3, SFTPに対してバックアップリポジトリを作成・運用するツール バックアップ・リストアツールとしてはamanda, balura_ なるものもが古くからあるので活発さや成熟具合は確認した方が良さそう

ロギング

ekanite
syslog(RFC5424)の集約サーバーで次世代のsyslog-ng, rsyslogにも対応している。 telnet, webインタフェースが提供されており簡単にログ検索可能で全文検索にはblevesearchが使われている。 blevesearchのバックエンドは boltdb(lmdb), InfluxDBの2択らしい。 結構前からログ収集には fluentd, logstash, flumeが人気だけどsyslog ではダメな理由を調べておきたい。

VR・全天球画像関連

RICOH THETA app
RICHO の全天球カメラ、キャンプとかで重宝するしSDKも公開されている wifi接続してWebAPI経由で操作が出来る
ThetaViewer
HTML5 のTheta Viewer。MITライセンスとされている ただMITライセンスの英語全文が記載されておらず、全文記載されたページへのリンクも含まれていないため簡単には使えない感じがある
A-FRAME
mozillaが出しているVR用ライブラリ
Google VR
google のVRライブラリ

セキュア情報

セキュア情報の取り扱いについてWeb・OSSも力注ぎ始めてる感じを受ける。

Vault
Hashicorp社が出してるミドルウェアで有名どころ、MySQLの一次アカウントを発行したり柔軟みたい
Keywhiz
Java製の秘密情報ストレージっぽい
Confidant
Lyft製の権限管理ツールっぽい(IAM, AWS KMS, DynamoDB依存)