Ceph構築

kubernetes用のブロックストレージおよびファイルストレージとしてCeph環境を構築しました。

Proxmoxは管理画面上から指示するだけですぐにCephが使える状態だったりしますが、分散ファイルシステムにあまり恩恵を感じていなかったこともあり、使ってきていませんでした。
単なる分散型のファイルサーバーだろ位にしか思っていなかったのが一番の要因ですが、今回kubernetesでPersistentVolumeとプライベートリポジトリを同じサーバーで持ちたいなぁと思って調べて行き着いた先がCephでしたw

改めて調べたところ、Cephのデータ保持・アクセス方式としては以下があるようです。

• RBD(RADOS Block Device) : ブロックデバイスとして使用できる(AWS EBSのような仮想DISK)
• Ceph FS : POSIX互換分散ファイルシステム。共有ストレージとしてNFS等で複数ノードから同時マウント可能
• RGW(RADOS Gateway) : S3/Swift互換のオブジェクトストレージとして使用できる

なお、RADOSはReliable Autonomic Distributed Object Storeというオブジェクトストレージを指すようです。

とりあえずkubernetes勉強用miniPCとは別にまた1台Ceph用として2TBのSSDを積んだminiPCを準備し、これにProxmoxとCephを導入し、ついでに以外とリソースを食っていたRancherの管理ノードをkubernetes勉強用miniPCからこちらに移行しました。
ついに我が家のminiPC台数4台目・・・

なお、今回目的はファイルシステムのノード分散ではなく、複数のストレージ方式をまとめるという所なので、ノード分版はせず1ノードでの稼働としています。
バックアップは日次(週一フルで以外は差分)でS3 Glacier Deep Archiveに向けて行っているのでこれでいいやな感じです。

あとはkubernetesからこいつにアクセスできるようにするだけ・・・
続きを頑張ります。