写点什么

NeonIO 云原生存储简介与应用

发布于: 9 小时前
NeonIO 云原生存储简介与应用

作者简介:杨兴祥,QingStor 顾问软件工程师,2012 年开始先后在创新科、华为从事存储相关的开发工作,在分布式存储领域有丰富的开发经验,目前负责 QingStor NeonIO 云原生存储的开发工作。

NeonIO 是什么

NeonIO 是一款支持容器化部署的企业级分布式块存储系统,能够给 Kubernetes 平台上提供动态创建(dynamic provisioning)持久存储卷(persistent volume)的能力,支持 clone、snapshot、resstore、resize 等功能。

NeonIO 架构图

NeonIO 架构如图上所示。


  • zk/etcd:提供集群发现、分布式协调、选 master 等服务;

  • mysql:提供元数据存储服务,如 PV 存储卷的元数据;

  • center:提供逻辑管理服务,如创建 PV 卷,快照;

  • monitor:提供监控服务,能够把采集监控指标暴露给 Prometheus;

  • store:存储服务,处理应用 IO 的功能;

  • portal:提供 UI 界面服务;

  • CSI:提供 csi 的标准 IO 接入服务;

NeonIO 特点

易用性

(1) 组件容器化:服务组件、CSI、Portal 容器化。


(2) 支持 CSI:提供标准的 IO 接入能力,可静态、动态创建 PV。


(3) UI 界面,运维方便:

  • 存储运维操作界面化、告警、监控可视管理;

  • 有基于 PV 粒度的性能监控,如 IOPS、吞吐量,可以快速定位到热点 PV;

  • 有基于 PV 粒度的 Qos,能够保证用户高优先级的服务质量;


(4) 与云原生高度融合:

  • 支持 Prometheus,通过 ServiceMonitor 把 NeonIO 的采集指标暴露给 Prometheus、Grafana,进行图形化展示;

  • 同时 UI 界面可与 Prometheus 对接,展示其他云原生监控的指标,如 node-exporter 的磁盘 IO 负载、带宽等;

  • 平台化的运维方式,存储的扩容、升级、灾难恢复运维操作、只需要 k8s 的一些命令即可完成,不需要额外掌握过多的存储相关的运维知识;

  • 服务发现、分布式协调支持 etcd、元数据的管理,使用 CRD 的方式;


(5) 一键式部署:helm install neonio ./neonio -- namespace kube-system。(6) 部署简单灵活:和 Rook-Ceph 对比:

高性能

(1) 全闪的分布式存储架构

  • 集群中所有节点共同承担压力,IO 性能随着节点增加而线性增长;

  • 存储介质支持 NVME SSD;

  • 支持 RDMA:通过高速的 RDMA 技术将节点连接;


(2) 极短的 IO 路径:抛弃文件系统,自研元数据管理系统,使 IO 路径极短

(3) 使用 HostNetwork 网络模式

好处:

  • Store CSI Pod 使用 HostNetwork,直接使用物理网络,减少网络层次;

  • 管理网络、前端网络、数据同步网络分离,避免网络竞争;

高可用

(1) 服务组件可靠性与可用性

  • 管理服务默认使用 3 副本 Pod,副本数可以配置,推荐使用 3/5 副本,任何一 Pod 因故障无法提供服务,还有其他 Pod 提供服务;

  • 使用探针检测 Pod 服务是否可用,是否存活,检测到 Pod 服务部可用剔除组件服务, 检测到 Pod down 掉后重启 Pod,使其重新启动服务;


(2) 数据的可靠性与可用性


  • Volume 分片为 Shard;

  • 每个 Shard 独立选择存储位置;

  • 每个 Shard 的 3 个副本存储在不同的物理节点上;

  • 写入时同步写入 3 个副本,强一致;

  • 读取时只从主副本读;

  • 副本数按 volume 可配;

敏捷性

(1) Pod 跨节点重建高效:2000PV 的挂载/卸载 16s。

(2) 批量创建 PV 能力:2000PV 的创建 5min。

NeonIO 性能表现

测试平台:NeonIO 超融合一体机集群(3 个节点,192.168.101.174 - 192.168.101.176)。


注意:所有测试均使用 NVMe SSD,卷大小 = 1TiB。性能工具:https://github.com/leeliu/dbench



图中黄色表示的是 NeonIO,第一张图纵坐标是 IOPS,第二张图纵坐标是毫秒,从结果来看,无论是单副本还是 3 副本,NeonIO 在 IOPS、时延都有明显的优势。

NeonIO 应用场景

  • Devops 场景:批量快速创建/销毁 PV 能力,2000PV 创建 5min。

  • 数据库场景:WEB 网站后端数据库 MySQL 等提供稳定的持久化存储,提供高 IOPS、低时延。

  • 大数据应用分析场景:提供超大容量,PV 可扩容到 100TB。

  • 计算和存储分离部署场景:k8s 集群 1 部署 neonio,k8s 集群 2 通过 CSI 使用 k8s 集群 1 的 neonio 存储。

相关文章推荐

存储大师班 | ZFS存储池块管理与事务模型

对象存储手把手教四 | Bucket 生命周期管理

发布于: 9 小时前阅读数: 7
用户头像

拥抱云原生存储 2021.06.29 加入

公众号:QingStor 分布式存储。 提供云原生时代的全栈存储知识与服务,驱动数据引领业务创新!

评论

发布
暂无评论
NeonIO 云原生存储简介与应用