最近はデータ保存の観点で調べてみたり考えてみたりする事が増えてきた。 Storage Weeklyで出てきたデータ保持・配信系ミドルウェアやツールを中心に調べてみた。

ストレージ・データベース・オーケストレーション・コンフィギュレーションは網羅的に探したくなるので今度に回す。 BlockChainもストレージやコンテンツ配信系に意外と応用されていたけど、アルゴリズムから押さえたいので勉強してから別途まとめる。

ユーザーデータは、4K・全天球画像・3Dモデルみたいに巨大化する方向とセンシングデータみたいに大量な小さい時系列データの方向が特に増加すると思ってる。

システムデータは今まで通り、リポジトリ・ログ・メトリクス・コンテンツ配信・アーカイブが主軸だけれど、 リポジトリはマシンイメージ・Dockerイメージ・DCOSパッケージが増えていきそう。またコンテンツ配信で学習モデルも加わる気がする。

ストレージ関係のニュース取得元

star ranking(Golang * Storage) を眺めると読みやすいストレージを探せる。

ストレージのニュースは下のところで探すのが良さそう、もっと選別しないと多くて邪魔になる。

• Storage Weekly
• Storagenewsletter
• enterprisestorageforum
• InfoStor
• StorageReview.com
• TechTarget
• Enterprise Storage Guide
• storge performance council
• Register

そろそろ大きなカンファレンスは日常的に追うようにしようと思った。

• 国際学会一覧
• EDBT
• DEXA
• ACM SIGMOD/POD
• VLDB
• IEEE ICDE

arxivにカテゴリがあったけど情報系ってカンファレンスが重視される領域みたいで物理よりも更に石が多そう。

• arxiv::Databases
• arxiv::Distributed, Parallel, and Cluster Computing

アプリケーションコンポーネント

Imstore

サムネとかを簡単に生成管理するWebツール

Kinto

WebApplication環境を主に想定しJSONを共有する事に注力したストレージ。 データモデルはBucket/Collection/Record/Dataという階層構造で管理されている。 認証・暗号化・JSONSchemaによるバリデーション・WebAPIが提供されている。 プラグイン機構がありPush通知やAdminUIなどがすぐに利用可能になっている。 Pyramid,PostgreSQLで実装されている。 どの程度スケールするかで使い勝手が分かれるけど簡単にAPIサーバーを作れる感じがあり良さそうに感じた。

s3git

オブジェクトストレージ上にgit風のバージョン管理を実現するツール。 使い道と効率がよくわからない。

個人向けメディアストレージ

Syncany

セキュリティと抽象化に特化したGatewayミドルウェアでバックエンドに色々なクラウドサービスも利用できる。 暗号化した上で格納するのでセンシティブな情報もクラウドに置けるよっていう仕組み。 どちらかというとDropbox, Camilistoreとかの競合CLIかもと思った。

camlistore

少し前に話題に上っていた personal storage systemがある。 個人向けストレージでContent-Adressable Storageなようだ。 バージョンコントロールもありライフイベントを保存する様子。 multi-tenancyはIssueにあるけどサポートしてなさそう。

リポジトリ

リポジトリミドルウェアは色々ある有名どころ(Archiva, Nexus, Artifactory)の比較記事があった。

Artifactory

対応フォーマット多いリポジトリミドルウェア

Speedy

分散 Dockerイメージリポジトリ

PaaS

PaaS基盤はいくつかありLT資料で並べてくれているのがある。

Deis

Minioとの組み合わせエントリが出てMinio界隈が賑わっていた

バックアップ

restic

ローカルストレージ, S3, SFTPに対してバックアップリポジトリを作成・運用するツール バックアップ・リストアツールとしてはamanda, balura なるものもが古くからあるので活発さや成熟具合は確認した方が良さそう

ロギング

ekanite

syslog(RFC5424)の集約サーバーで次世代のsyslog-ng, rsyslogにも対応している。 telnet, webインタフェースが提供されており簡単にログ検索可能で全文検索にはblevesearchが使われている。 blevesearchのバックエンドは boltdb(lmdb), InfluxDBの2択らしい。 結構前からログ収集には fluentd, logstash, flumeが人気だけどsyslogではダメな理由を調べておきたい。

VR・全天球画像関連

RICOH THETA app

RICHO の全天球カメラ、キャンプとかで重宝するしSDKも公開されている wifi接続してWebAPI経由で操作が出来る

ThetaViewer

HTML5 のTheta Viewer。MITライセンスとされている ただMITライセンスの英語全文が記載されておらず、全文記載されたページへのリンクも含まれていないため簡単には使えない感じがある

A-FRAME

mozillaが出しているVR用ライブラリ

Google VR

google のVRライブラリ

セキュア情報

セキュア情報の取り扱いについてWeb・OSSも力注ぎ始めてる感じを受ける。

Vault

Hashicorp社が出してるミドルウェアで有名どころ、MySQLの一次アカウントを発行したり柔軟みたい

Keywhiz

Java製の秘密情報ストレージっぽい

Confidant

Lyft製の権限管理ツールっぽい(IAM, AWS KMS, DynamoDB依存)