写点什么

Nydus 镜像加速插件迁入 Containerd 旗下

作者:SOFAStack
  • 2022 年 3 月 22 日
  • 本文字数:2105 字

    阅读完需:约 7 分钟

Nydus 镜像加速插件迁入 Containerd 旗下

文|葛长伟(花名:川朗 )


蚂蚁集团技术专家


负责容器镜像加速项目 Nydus 的开发和维护,专注于容器镜像存储、持久存储和文件系统领域。


本文 1344 字 阅读 4 分钟

前言

今年 1 月 ,Containerd 社区通过投票接收 Nydus-snapshotter 成为 Containerd 社区的子项目。这是继 ttrpc-rust 之后,蚂蚁容器团队再次向 Containerd 捐赠子项目。


此举将方便 Nydus 和 Containerd 的开发协同,减少项目迭代过程中可能出现的不兼容问题,也让用户可以更容易地使用 Nydus 镜像加速服务。


目前 Nydus 已经将 Nydus-snapshotter 的代码迁移到了 Containerd 组织下的新仓库[1]。

Nydus 简介

Nydus 是蚂蚁集团和阿里云共同开源的容器镜像加速项目,属于 CNCF Dragonfly 项目,是其中的镜像服务部分。


Nydus 是在最新的 OCI Image-Spec 基础之上设计的容器镜像加速服务,重新设计了镜像格式和底层文件系统,从而加速容器启动速度,提高大规模集群中的容器启动成功率。


Nydus 设计了一个为镜像优化的文件系统—Rafs。


Nydus 镜像可以推送和保存在标准的容器镜像中心,Nydus 镜像格式完全兼容 OCI Image Spec 和 Distribution Spec。成功转换或者创建镜像后,Nydus 镜像会生成一个元数据文件 Bootstrap、若干个数据文件 blob、manifest.json、config.json。


目前可以通过 Nydusify 、Acceld 或者 Buildkit 创建 Nydus 加速镜像。


其中,Acceld[2] 是 Nydus 和 eStargz 的开发者正在合作开发的 Harbor 开源企业级镜像中心的一个子项目,它提供了一个通用的加速镜像转换服务和框架。基于 Acceld,Nydus 和 eStargz 可以方便地从 Harbor 触发加速镜像转换。


与此同时,Nydus 也在开发 Buildkit 相关的支持,在未来也可以直接通过 Buildkit 从 Dockerfile 直接创建加速镜像。


Nydus-snapshotter 是 Containerd 的 Remote Snapshotter 插件,它是一个独立于 Containerd 的进程。


当集成 Nydus-snapshotter 到 Containerd 后,Nydus-napshotter 在容器镜像准备阶段,只会将 Nydus 镜像的元数据部分 Bootstrap 从镜像中心下载下来,并且创建了一个新的进程 Nydusd。Nydusd 是处理文件系统操作的用户态进程。通过配置,Nydusd 可以作为基于 Linux FUSE 的用户态文件系统 Virtio-fs Vhost-user Backend,甚至可以是 Linux Fscache 的用户态进程。


Nydusd 负责从镜像中心或者对象存储下载文件数据以响应读文件的请求,并可以将文件数据块缓存在 Host 的本地文件系统。


Nydus 特性

Nydus 有如下重要的特性:


1、镜像层间块级数据去重,可以减少镜像中心的存储成本,降低数据传输的带宽消耗。


2、Whiteout 文件不会再被打包进 Nydus 镜像。


3、端到端的数据完整性校验。


4、作为 CNCF 孵化项目 Dragonfly 的子项目,Nydus 可以接入 P2P 分发系统,以此降低对镜像中心的压力。


5、支持数据和元数据分离存储。可以将数据保存在 NAS、阿里云 OSS 或者 AWS S3。


6、支持文件访问行为记录,这样就可以审计和分析容器内应用的访问行为。增强安全能力、优化镜像数据排布。


除了以上的关键特性,Nydus 可以灵活地配置成 Linux FUSE 用户态文件系统、基于轻量虚拟化技术容器的 Virtio-fs daemon,或者 Linux 内核磁盘文件系统 EROFS 的用户态 on-demand 数据下载服务:


1、轻量化地集成到 vm-based 容器运行时。现在 KataContainers 正在考虑原生地支持 Nydus 作为容器镜像加速方案。


2、Nydus 和 EROFS 紧密合作,期望可以直接使用 EROFS 作为容器镜像的文件系统。相关修改的第一部分已经合并入 Linux Kernel v5.16。

Nydus 部署形态

支持 Runc 时,Nydus 作为 FUSE 用户态文件系统进程:



支持 KataContainers 时,Nydus 作为 Virtio-fs daemon:



目前 EROFS 正在尝试联合 Fscache 一起,以内核文件系统 EROFS 直接作为容器 Rootfs:



Nydus 将与 Containerd 社区紧密合作,致力于提供更优秀的容器镜像加速方案,提高镜像的存储和分发效率,提供安全可靠的容器镜像服务。

「参 考」

[1] nydus-snapshotter repository:GitHub - containerd/nydus-snapshotter: A containerd snapshotter with capability of on-demand read.


[2] acceld repository:https://github.com/goharbor/acceleration-service

求贤若渴:

关于蚂蚁集团可信原生技术部安全容器和存储团队


在蚂蚁集团内部主要负责公司内部容器运行时和云原生存储技术,是公司数据链路的守护者,运行时环境的看门人。我们团队也是 Kata Containers 的创立者,镜像加速服务 Nydus 的发起者,分布式事务服务 Seata 的维护者,也维护着公司内数据访问组件 ZDal/ZCache/XTS 等产品。


我们是开源精神的信徒,也是实现开源软件和公司业务双赢的践行者。我们是一个关注业务、关注业界前沿、关注基础设施技术,更关心成员成长的团队。目前我们正在招收 2023 届实习生,有兴趣的可以参考蚂蚁集团 2023 届实习生招聘。


联系邮箱:liyuming.lym@antgroup.com

本周推荐阅读

[恭喜 李志强 成为 Layotto committer!](恭喜 李志强 成为 Layotto committer!)


[社区文章|MOSN 路由框架详解](社区文章|MOSN 路由框架详解)


[HAVE FUN | SOFARegistry 源码解析](HAVE FUN | SOFARegistry 源码解析)


[BabaSSL:支持半同态加密算法 EC-ElGamal](BabaSSL:支持半同态加密算法 EC-ElGamal)

发布于: 刚刚阅读数: 2
用户头像

SOFAStack

关注

致力于打造一流的分布式技术交流平台。 2021.04.26 加入

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级云原生架构的中间件,也是在金融场景里锤炼出来的最佳实践,并且具备以下特点:开放、金融级、云原生

评论

发布
暂无评论
Nydus 镜像加速插件迁入 Containerd 旗下_“互联网+”_SOFAStack_InfoQ写作平台