写点什么

Ceph

1 人感兴趣 · 38 次引用

  • 最新
  • 推荐

分布式存储技术(上):HDFS 与 Ceph 的架构原理、特性、优缺点解析

面对企业级数据量,单机容量太小,无法存储海量的数据,这时候就需要用到多台机器存储,并统一管理分布在集群上的文件,这样就形成了分布式文件系统。

https://static001.geekbang.org/infoq/a1/a1c22a9a40062f2fc6b77e1ebbbf4f70.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

创云融达基于 Curve 块存储的智慧税务场景实践

用户头像
网易数帆
2022-11-24

基于 Curve 构建分布式块存储作为虚拟化环境的数据底座,具有比 Ceph 架构具有更高的可靠性和数据安全性

https://static001.geekbang.org/infoq/18/18defbc372cba507e9abb1c5480020c9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Ceph 在手天下我有!

在目前的开源界,能够提供统一的、开源的最著名的分布式存储是Ceph,本文主要介绍了Ceph的背景、业务场景、架构和配置规范。

https://static001.geekbang.org/infoq/ca/cad5b5759911dadca2c549c8762fa109.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深入 Ceph 原理包含核心算法 Crush 说明和通信机制原理(五)

用户头像
Lansonli
2022-07-15

CRUSH算法,全称Controlled Replication Under Scalable Hashing (可扩展哈希下的受控复制),它是一个可控的、可扩展的、分布式的副本数据放置算法, 通过CRUSH算法来计算数据存储位置来确定如何存储和检索数据。

https://static001.geekbang.org/infoq/33/337a7e6ae995877532c2daccd58d5c93.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Ceph Swift Api 配置与使用(三)

用户头像
Lansonli
2022-07-13

在ceph的使用上, 互联网大规模的文件场景下, fs并不能满足生产的使用要求,rados本地化操作也不便于服务的接入与使用, 这里我们就要采用Ceph Swift Api 来实现文件的存储管理。

https://static001.geekbang.org/infoq/f1/f1541b1dd2b664b617be84cdb4280195.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Ceph 集群详细部署配置图文讲解 (二)

用户头像
Lansonli
2022-07-13

虚拟机创建三台服务器,CENTOS版本为7.6, IP网段192.168.116.2/24。三台主机名称为:

https://static001.geekbang.org/infoq/2d/2dd889d0ce3c771b3349f1030e0bf69f.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Ceph 分布式存储初步认识(一)

用户头像
Lansonli
2022-07-13

Ceph是一个去中心化的分布式存储系统, 提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区, 遵循LGPL协议 (LESSER GENERAL PUBLIC LICENSE的简写,中文译为“较宽松公共许可证

中科方德技术专家直播:如何基于 OpenStack、Ceph 构建私有云平台? | 第 27 期

「龙蜥大讲堂」第 27 期来啦!本期龙蜥大讲堂邀请了中科方德云计算架构师樊志成来分享《基于开源 OpenStack、Ceph 构建企业私有云平台》,快来扫码入群,预定前排小板凳观看直播吧!

https://static001.geekbang.org/infoq/8e/8eb3e5c4e5cdc4d6d840a7b051603835.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Curve 替换 Ceph 在网易云音乐的实践

用户头像
网易数帆
2022-06-28

Curve 块存储已在生产环境上线使用近三年,经受住了各种异常和极端场景的考验,性能和稳定性均超出核心业务需求预期

2022 开源之夏 | Curve 邀你与中国存储软件共成长,赢万元奖金

用户头像
网易数帆
2022-05-12

开源之夏是由中国科学院软件研究所 “开源软件供应链点亮计划” 发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,促进优秀开源软件社区的蓬勃发展,培养和发掘更多优秀的开发者。

Ceph 核心概念解读

本文对Ceph中涉及到的概念进行解释分析,通读本文可以对ceph有一个比较全面的认识。

10 倍!BoostKit 鲲鹏全局缓存 3 大创新技术助力 Ceph 性能提升

摘要:本文从四个方面阐述了BoostKit鲲鹏全局缓存技术,该技术针对Ceph开源存储方案存在的痛点,采用三大创新技术,有效的提高了Ceph的性能,最高可以将Ceph性能提升10倍。

https://static001.geekbang.org/infoq/0d/0d616b7e6a7a241499f7debfef5b7a2b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Prometheus Exporter (二十一)Ceph Exporter

用户头像
耳东@Erdong
2021-12-09

本文已经收录在 Prometheus 合集 Prometheus 都可以采集那些指标?-- 常用 Exporter 合集 中。

https://static001.geekbang.org/infoq/2e/2eba3e48043a32dafbbad3f075f3c6bd.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

external-resizer 源码分析 -pvc 扩容分析

用户头像
良凯尔
2021-07-18

pvc扩容分析。pvc存储扩容分析。存储的扩容分为controller端操作与node端操作两大步骤,controller端操作由external-resizer来调用ceph完成,而node端操作由kubelet来完成,下面来分析下external-resizer中有关存储扩容的相关代码。

https://static001.geekbang.org/infoq/c2/c2119a7ac8b1ee119a583bca11f92d2b.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

external-attacher 源码分析 (2)- 核心处理逻辑分析

用户头像
良凯尔
2021-07-10

ceph-csi分析-external-attacher源码分析。external-attacher属于external plugin,辅助csi plugin组件,共同完成了存储相关操作。external-attacher watch volumeAttachment对象,调用csi plugin来做attach/dettach操作,并修改volumeAttachment与pv对象。

https://static001.geekbang.org/infoq/ac/aca03a2ccb7c0801cda633395b8af5c0.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

external-attacher 源码分析 (1)-main 方法与启动参数分析

用户头像
良凯尔
2021-07-03

ceph-csi分析-external-attacher分析。external-attacher属于external plugin中的一个,辅助csi plugin,共同完成了存储相关操作。external-attacher watch volumeAttachment对象,调用csi plugin做attach/dettach操作,修改volumeAttachment对象与pv对象。

https://static001.geekbang.org/infoq/ca/ca154c7667899f5f643c5d363ef57615.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

kubelet 分析 -pvc 扩容源码分析

用户头像
良凯尔
2021-06-12

pvc扩容分析。pvc存储扩容分析。存储的扩容分为controller端操作与node端操作两大步骤,controller端操作由external-resizer来调用ceph完成,而node端操作由kubelet来完成,下面来分析下kubelet中有关存储扩容的相关代码。

https://static001.geekbang.org/infoq/79/79a826dd5f5514ae85fccf1c73b01a7a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

kubelet 之 volume manager 源码分析

用户头像
良凯尔
2021-06-06

volume manager存在于kubelet中,主要是管理存储卷的attach/detach(与AD controller作用相同,通过kubelet启动参数控制哪个组件来做该操作)、mount/umount等操作。

https://static001.geekbang.org/infoq/73/738834753983827ce7a4612b827eb699.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

kube-controller-manager 之 AD Cotroller 源码分析

用户头像
良凯尔
2021-05-29

AD controller源码分析。ad controller源码分析。AD Cotroller主要负责创建、删除VolumeAttachment对象,调用volume plugin来做存储设备Attach/Detach操作(将数据卷挂载到特定node节点上/从特定node节点上解除挂载),更新node.Status.VolumesAttached等。

https://static001.geekbang.org/infoq/de/de9cf8541c4080fa64313d11501e9ecb.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

kube-controller-manager 之 PV Cotroller 源码分析

用户头像
良凯尔
2021-05-22

pv controller源码分析。kcm中,有两个controller与存储相关,分别是PV controller与AD controller。 PV Cotroller全称PersistentVolume controller,主要负责pv、pvc的绑定和生命周期管理(如创建/删除底层存储,创建/删除pv,pv与pvc的状态变更)。

https://static001.geekbang.org/infoq/70/700beb40606062e483760da7f6f35090.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(8)-cephfs driver 分析

用户头像
良凯尔
2021-05-15

kubernetes ceph-csi分析 - 目录导航。cephfs driver,与rbd driver类似,同样包括了controllerserver、nodeserver与IdentityServer,且大部分方法逻辑一致,只是最后调用的cli命令稍有不同,所以大部分方法的分析可以参考rbd driver部分。

https://static001.geekbang.org/infoq/26/267af14efd4f04eb5116be2263084475.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(7)-rbd driver-IdentityServer 分析

用户头像
良凯尔
2021-05-15

kubernetes ceph-csi分析 - 目录导航。这节进行IdentityServer分析,IdentityServer主要包括了GetPluginInfo(获取driver信息)、Probe(探测接口)、GetPluginCapabilities(获取driver能力)三个方法,将一一进行分析。

https://static001.geekbang.org/infoq/01/01589a5ecc2df00514330a812adabec8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(6)-rbd driver-nodeserver 分析(下)

用户头像
良凯尔
2021-05-09

kubernetes ceph-csi分析 - 目录导航。这节进行NodeStageVolume(map rbd与mount stagingPath)、NodePublishVolume(mount targetPath)、NodeUnpublishVolume(umount targetPath)、NodeUnstageVolume(umount stagingPath与unmap rbd)的分析。

https://static001.geekbang.org/infoq/2f/2fd48fdb922ee8e3e7c4cb7190b2dc60.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(5)-rbd driver-nodeserver 分析(上)

用户头像
良凯尔
2021-05-09

kubernetes ceph-csi分析目录导航。nodeserver主要包括了NodeGetCapabilities(获取driver能力)、NodeGetVolumeStats(存储探测及metrics获取)、NodeStageVolume、NodePublishVolume、NodeUnpublishVolume、NodeUnstageVolume、NodeExpandVolume操作

https://static001.geekbang.org/infoq/b0/b0465fbdc95a845a3204e22553205589.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(4)-rbd driver-controllerserver 分析

用户头像
良凯尔
2021-04-30

这节进行controllerserver分析,controllerserver主要包括了CreateVolume(创建存储)、DeleteVolume(删除存储)、ControllerExpandVolume(存储扩容)、CreateSnapshot(创建存储快照)、DeleteSnapshot(删除存储快照)操作。

https://static001.geekbang.org/infoq/dd/dd89f014bcc9239363b7b4de8422424c.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(3)-rbd driver- 服务入口分析

用户头像
良凯尔
2021-04-30

当ceph-csi组件启动时指定的driver type为rbd时,会启动rbd driver相关的服务。然后再根据controllerserver、nodeserver的参数配置,决定启动ControllerServer与IdentityServer,或NodeServer与IdentityServer。

https://static001.geekbang.org/infoq/81/81188968e64ea39af1fd35b37e901eb9.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(2)- 组件启动参数分析

用户头像
良凯尔
2021-04-24

ceph-csi扩展各种存储类型的卷的管理能力,实现第三方存储ceph的各种操作能力与k8s存储系统的结合。调用第三方存储ceph的接口或命令,从而提供ceph数据卷的创建/删除、挂载/解除挂载的具体操作实现。本文将对ceph-csi组件的启动参数进行分析。

https://static001.geekbang.org/infoq/af/afa8d5b8386b6f72cbb7f3b10bea60af.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ceph-csi 源码分析(1)- 组件介绍与部署 yaml 分析

用户头像
良凯尔
2021-04-24

ceph-csi扩展各种存储类型的卷的管理能力,实现第三方存储ceph的各种操作能力与k8s存储系统的结合。调用第三方存储ceph的接口或命令,从而提供ceph数据卷的创建/删除、挂载/解除挂载的具体操作实现。这里将对ceph-csi组件进行展开分析。

Ceph_Ceph技术文章_InfoQ写作社区