NeonIO 云原生存储简介与应用
作者简介：杨兴祥，QingStor 顾问软件工程师，2012 年开始先后在创新科、华为从事存储相关的开发工作，在分布式存储领域有丰富的开发经验，目前负责 QingStor NeonIO 云原生存储的开发工作。
NeonIO 是什么
NeonIO 是一款支持容器化部署的企业级分布式块存储系统，能够给 Kubernetes 平台上提供动态创建（dynamic provisioning）持久存储卷（persistent volume）的能力，支持 clone、snapshot、resstore、resize 等功能。
NeonIO 架构图
NeonIO 架构如图上所示。
zk/etcd：提供集群发现、分布式协调、选 master 等服务；
mysql：提供元数据存储服务，如 PV 存储卷的元数据；
center：提供逻辑管理服务，如创建 PV 卷，快照；
monitor：提供监控服务，能够把采集监控指标暴露给 Prometheus；
store：存储服务，处理应用 IO 的功能；
portal：提供 UI 界面服务；
CSI：提供 csi 的标准 IO 接入服务；
NeonIO 特点
易用性
(1) 组件容器化：服务组件、CSI、Portal 容器化。
(2) 支持 CSI：提供标准的 IO 接入能力，可静态、动态创建 PV。
(3) UI 界面，运维方便：
存储运维操作界面化、告警、监控可视管理；
有基于 PV 粒度的性能监控，如 IOPS、吞吐量，可以快速定位到热点 PV；
有基于 PV 粒度的 Qos，能够保证用户高优先级的服务质量；
(4) 与云原生高度融合：
支持 Prometheus，通过 ServiceMonitor 把 NeonIO 的采集指标暴露给 Prometheus、Grafana，进行图形化展示；
同时 UI 界面可与 Prometheus 对接，展示其他云原生监控的指标，如 node-exporter 的磁盘 IO 负载、带宽等；
平台化的运维方式，存储的扩容、升级、灾难恢复运维操作、只需要 k8s 的一些命令即可完成，不需要额外掌握过多的存储相关的运维知识；
服务发现、分布式协调支持 etcd、元数据的管理，使用 CRD 的方式；
(5) 一键式部署：helm install neonio ./neonio -- namespace kube-system。(6) 部署简单灵活：和 Rook-Ceph 对比：
高性能
(1) 全闪的分布式存储架构
集群中所有节点共同承担压力，IO 性能随着节点增加而线性增长；
存储介质支持 NVME SSD；
支持 RDMA：通过高速的 RDMA 技术将节点连接；
(2) 极短的 IO 路径：抛弃文件系统，自研元数据管理系统，使 IO 路径极短
(3) 使用 HostNetwork 网络模式
好处：
Store CSI Pod 使用 HostNetwork，直接使用物理网络，减少网络层次；
管理网络、前端网络、数据同步网络分离，避免网络竞争；
高可用
(1) 服务组件可靠性与可用性
管理服务默认使用 3 副本 Pod,副本数可以配置，推荐使用 3/5 副本，任何一 Pod 因故障无法提供服务，还有其他 Pod 提供服务；
使用探针检测 Pod 服务是否可用，是否存活，检测到 Pod 服务部可用剔除组件服务， 检测到 Pod down 掉后重启 Pod，使其重新启动服务；
(2) 数据的可靠性与可用性
Volume 分片为 Shard；
每个 Shard 独立选择存储位置；
每个 Shard 的 3 个副本存储在不同的物理节点上；
写入时同步写入 3 个副本，强一致；
读取时只从主副本读；
副本数按 volume 可配；
敏捷性
(1) Pod 跨节点重建高效：2000PV 的挂载/卸载 16s。
(2) 批量创建 PV 能力：2000PV 的创建 5min。
NeonIO 性能表现
测试平台：NeonIO 超融合一体机集群（3 个节点，192.168.101.174 - 192.168.101.176）。
注意：所有测试均使用 NVMe SSD，卷大小 = 1TiB。性能工具：https://github.com/leeliu/dbench
图中黄色表示的是 NeonIO，第一张图纵坐标是 IOPS，第二张图纵坐标是毫秒，从结果来看，无论是单副本还是 3 副本，NeonIO 在 IOPS、时延都有明显的优势。
NeonIO 应用场景
Devops 场景：批量快速创建/销毁 PV 能力，2000PV 创建 5min。
数据库场景：WEB 网站后端数据库 MySQL 等提供稳定的持久化存储，提供高 IOPS、低时延。
大数据应用分析场景：提供超大容量，PV 可扩容到 100TB。
计算和存储分离部署场景：k8s 集群 1 部署 neonio，k8s 集群 2 通过 CSI 使用 k8s 集群 1 的 neonio 存储。
相关文章推荐
版权声明: 本文为 InfoQ 作者【QingStor分布式存储】的原创文章。
原文链接:【http://xie.infoq.cn/article/ece75766aad1a3b3879c22b64】。文章转载请联系作者。
拥抱云原生存储 2021.06.29 加入
公众号：QingStor 分布式存储。 提供云原生时代的全栈存储知识与服务，驱动数据引领业务创新！
评论