Kubernetes 平台存储系统介绍

存储系统是个专业性的整个体系，我们只用常见方式搭建，具体优化需要参照公司自己的产品等各种进行调整

一、Ceph

官方网址：https://ceph.io/

1、基本概念

Ceph 可以有

• Ceph 对象存储：键值存储，其接口就是简单的 GET,PUT,DEL 等。如七牛，阿里云 oss 等

• Ceph 块设备：AWS 的 EBS，青云的云硬盘和阿里云的盘古系统，还有 Ceph 的 RBD(RBD 是 Ceph 面向块存储的接口)

• Ceph 文件系统：它比块存储具有更丰富的接口，需要考虑目录、文件属性等支持，实现一个支持并行化的文件存储应该是最困难的。

一个 Ceph 存储集群需要

• 至少一个 Ceph 监视器、Ceph 管理器、Ceph OSD（对象存储守护程序）

• 需要运行 Ceph 文件系统客户端，则需要部署 Ceph Metadata Server。

• Monitors: Ceph Monitor (ceph-mon) 监视器：维护集群状态信息

-  维护集群状态的映射，包括监视器映射，管理器映射，OSD映射，MDS映射和CRUSH映射。

-  这些映射是Ceph守护程序相互协调所必需的关键群集状态。

-  监视器还负责管理守护程序和客户端之间的身份验证。

-  通常至少需要三个监视器才能实现冗余和高可用性。

• Managers: Ceph Manager 守护进程(ceph-mgr) : 负责跟踪运行时指标和 Ceph 集群的当前状态

-  Ceph Manager守护进程（ceph-mgr）负责跟踪运行时指标和Ceph集群的当前状态

-  包括存储利用率，当前性能指标和系统负载。

-  Ceph Manager守护程序还托管基于python的模块，以管理和公开Ceph集群信息，包括基于Web的Ceph Dashboard和REST API。

-  通常，至少需要两个管理器才能实现高可用性。

• Ceph OSDs: Ceph OSD (对象存储守护进程, ceph-osd) 【存储数据】

-  通过检查其他Ceph OSD守护程序的心跳来存储数据，处理数据，恢复，重新平衡，并向Ceph监视器和管理器提供一些监视信息。

-  通常至少需要3个Ceph OSD才能实现冗余和高可用性。

• MDSs: Ceph Metadata Server (MDS, ceph-mdsceph 元数据服务器)

-  存储能代表 [Ceph File System](https://docs.ceph.com/en/latest/glossary/#term-Ceph-File-System) 的元数据(如：Ceph块设备和Ceph对象存储不使用MDS).

-  Ceph元数据服务器允许POSIX文件系统用户执行基本命令（如ls，find等），而不会给Ceph存储集群带来巨大负担

二、Rook

1、基本概念

Rook 是云原生平台的存储编排工具

Rook 工作原理如下：

Rook 架构如下

RGW：为 Restapi Gateway

2、operator 是什么

k8s 中 operator+CRD（CustomResourceDefinitions【k8s 自定义资源类型】），可以快速帮我们部署一些有状态应用集群，如 redis，mysql，Zookeeper 等。

Rook 的 operator 是我们 k8s 集群和存储集群之间进行交互的解析器

CRD：CustomResourceDefinitions (自定义资源)；如：Itdachang

operator：这个能处理自定义资源类型