Intel 技术总监:同心共行,共建龙蜥 | 2023 龙蜥操作系统大会
近日,由开放原子开源基金会指导,龙蜥社区主办,阿里云、中兴通讯、浪潮信息、Arm、Intel 等 24 家理事单位共同承办,主题为“云智融合·共筑未来”的 2023 龙蜥操作系统大会在北京圆满结束。本次大会上,Intel 开设了专区,值得一提的是,Intel 等 3 家企业凭借对社区开源生态建设的卓越贡献,升级为龙蜥社区“新晋副理事长单位”,Intel 技术总监杨继国博士等 3 位新晋副理事长上台接受授牌,共同开启“同心共行·共建龙蜥”的新里程道路。
(图 1/龙蜥操作系统大会新晋副理事长授牌仪式)
要建立一个丰富且活跃的社区生态,其根本在于社区化协作,而不是集中式管理。得益于社区成员的共同努力,如今的龙蜥操作系统在芯片、内核、编译器、安全、虚拟化及云原生等核心领域实现了多项技术创新和突破。会上,杨继国博士分享了主题为《同心共行,共建龙蜥》演讲,讲述了 Intel 在龙蜥社区的进展和成果,以下为演讲内容:
(图 2/杨继国博士)
龙蜥社区技术委员会主席杨勇和《国产服务器操作系统发展报告(2023)》里都提到了 Intel,我也借此机会给大家简单总结一下,这三年以来 Intel 在龙蜥社区的基本工作和工作成果。Intel 是在龙蜥社区初创阶段加入的,希望利用 Intel 在国际开源社区积累的经验,能够帮助龙蜥在技术上取得领先,而且能够在 CentOS 替代上取得成果。总结起来,Intel 对于龙蜥社区的贡献分成三个方面:
(图 3/Intel 在龙蜥社区的贡献)
第一方面技术上。Intel 是一家技术型公司,在开源软件和开源技术上有非常大的投入和多年的经验。在全球有几千名工程师都在从事开源技术开发工作。因此,Intel 加入龙蜥社区有个很重要的目标,就是希望帮助龙蜥社区在技术上取得领先性,为此率先成立了 Intel Arch SIG(Special Interest Group,特殊兴趣小组),目的是推动龙蜥社区在 Intel 先进芯片支持上能够达到领先的地位。目前来看,在这方面做得非常成功。可以看到,对于 Intel 芯片的支持,Anolis OS 能够达到非常及时、同步。每次 Intel 发布新的至强芯片的时候,都会第一时间支持龙蜥,甚至有一些芯片特性的支持,如果对比全球操作系统厂商,那么在国际上也处于领先的地位。
除了芯片本身的支持外,我们把 Intel 各种垂直软件的优化技术,比如在 AI、加解密、云原生等领域也都带入到龙蜥社区,帮助龙蜥社区在技术上取得领先性,使得 Intel 成为社区的领先贡献者。
第二方面,通过生态拉动。除了芯片本身的性能和先进性以外,生态也是社区壮大的非常重要的因素。Intel 围绕 X86 进行了多年生态耕耘,我们希望通过生态拉动龙蜥社区的技术发展。所以,Intel 围绕 X86 的路线图的规划,在社区整个上下游厂商之间形成了生态合力,帮助社区围绕 X86 的各项技术方面取得进展。
截至目前,Intel 参加了近 20 个 SIG 的共同研发工作。另外,龙蜥社区最近刚刚成立了两个联盟,一个是安全联盟,一个是系统运维联盟,Intel 是安全联盟的发起者和参与者之一。
第三方面,社区生态建设。围绕 X86 生态,Intel 通过一系列的投入,与各个合作伙伴共同构建起了生态圈,通过举办 SIG Workshop 会议、线上线下 MeetUp,参加龙蜥大讲堂、龙蜥白皮书撰写等,共同推动社区发展。社区的生态发展需要各个方面的合力,Intel 希望通过 X86 拉动龙蜥社区的生态。
(图 4/Intel 在龙蜥社区的内核贡献)
在 2022-2023 年,我们做了非常重要的事情,就是 Anolis OS 对 Intel 第四代至强®处理器芯片(简称 SPR)的支持。我在 Intel 工作了有 20 多年时间,SPR 这个平台是我经过最复杂、新功能最多的芯片。图 4 中都是 SPR 这代引入的一些新特性,包括一系列加速器,比如 AI 计算、数据流处理、网络传输、加速器等。另外还有一些新的指令、新的特性,也包括安全,像 TDX。Intel 跟社区一起花了大量精力,把对 SPR 的支持引入到龙蜥社区,从时效性来说超过了很多全球操作系统厂商,Anolis OS 8.8 发行版能够第一时间支持 SPR 平台。龙蜥社区在 2022 年底发布了 Anolis OS 8.8,Intel 在 2023 年 1 月发布 SPR 平台,真正做到了全球同步支持。2023 年 Intel 除发布 SPR 以外,还在 12 月 15 日发布了第五代至强®处理器-Emerald Rapids,龙蜥也同步进行了支持。
(图 5/SPR 支持特性)
图 5 是 Intel 帮助龙蜥在 SPR 里所支持的一些特性。可以看到图中区分了两种颜色,白色是基本的功能,白色的特性在龙蜥和 CentOS 里都有支持,包括指令、内存、IO 支持。大家可以关注绿色的部分,绿色部分是在龙蜥率先得到支持,当时在 CentOS 里并没有支持的特性。这里包括非常主要的 SPR 特性,图 5 右边 4 个就是 SPR 的加速器,还有对 AMX 的支持,这些支持都是第一时间在龙蜥社区、龙蜥内核里使能,帮助用户使用,而且也会通过一系列白皮书、最佳实践等,让用户真正用起来。比如 AMX 新的指令,通过白皮书和最佳实践,让用户在真正的场景里,在深度学习和 AI 推理取得加速,而且显而易见地看到效果。
(图 6/Intel 在龙蜥社区四大领域的贡献)
除了在 Intel 平台、新指令支持外,Intel 帮助龙蜥在关键的技术领域也实现了创新和技术领先。一是智算领域。智算领域通过 Intel 新的指令,刚才提到的 AMX,它提供的是矩阵运算的加速,对于深度学习、大数据处理、AI,很多时候都要用到矩阵运算。AMX 提供硬件的加速器,已经集成在第四代的 SPR 平台里,通过 AMX 帮助用户使用起来。贡献了对 Intel 平台进行加速优化常用的 AI 框架。最近我们做的工作是把 Intel 的 AI 通用编程框架 oneAPI 引入到龙蜥社区,希望通过引入这个框架,让龙蜥实现开放的、AI 的计算编程环境。
第二个是网络加速领域。Intel 在第四代至强芯片里集成了硬件加速器 QAT,能够帮助外部服务、典型应用,比如加解密和压缩,实现端到端的加速功能。我们通过龙蜥社区的工作,让用户在实际场景实现端到端的压缩加解密的加速。
第三个方面是安全。Intel 在 SPR 上面集成了一些非常重要的安全特性,包括上一代已经有的 SGX 和 TDX。通过对 SGX 和 TDX 的引用,我们对于机密计算领域,在龙蜥社区做了非常重要的成果,同时让龙蜥成为 TDX 真正使能的操作系统。
第四个方面是云原生。我们把机密计算的机密虚拟机引入到龙蜥社区,帮助龙蜥社区在机密虚拟机领域建立技术领先优势。
(图 7/Intel oneAPI)
2023 年 12 月 15 日, Intel 发布了一系列新的产品,从服务器到 PC,这里有个口号“让 AI 无处不在”。一方面,Intel 从芯片、底层服务器、边缘、云、端都提供了硬件的 AI 加速支持。另一方面,从软件里,我们也提供了 oneAPI、OpenVINO、BigDL 等软件的加速框架。
这里最值得一提的就是 oneAPI,oneAPI 解决的是什么问题?就是 AI 编程的异构和开放性。大家如果做 AI 编程,第一个碰到或者最常遇到的就是 CUDA,CUDA 对 GPU 的效率确实很高。但是 CUDA 有个问题,它是个封闭的生态。我们做过一些调查,起码在中国有将近一半的用户需要在异构的环境下进行 AI 运算。什么叫异构?有 GPU、 CPU,还有 FPGA 甚至有专用的 ASIC 加速卡,在这些异构的环境下,oneAPI 提供了非常好的框架,对用户在异构环境提供支持,而且编程不需要对硬件做任何的改动,可以自动切换到不同的应用软件,编程框架是统一的。
(图 8/Intel oneAPI 生态结构)
图 8 中,一方面对上层 AI 的开发者,比如做模型构建、数据模型包括部署,它都能提供非常统一的框架,用标准的 C++ 语言编写程序,不需要关心底层是 GPU 还是其他硬件。同时我们已经把常用的 AI 加速框架,都已经做了使能、加速,比如 TensorFlow、PyTorch、Paddle Paddle 等,oneAPI 都已支持。
oneAPI 上层可以用一个统一的模型编程,但是底层可以用到各种加速功能。比如 CPU,可以用至强芯片,还可以用 GPU,比如之前在 2023 云栖大会上做的演示,我们当时用通用的至强 CPU,还用了在 PC 上的 Intel Arc G770 的独立显卡进行 AI 的加速和运算,运行这些大模型,所以 oneAPI 是异构的,而且它本身是个开放的模型,即使底层用的不是 Intel 的硬件,而是自己做的硬件,仍然可以通过一个简单的 Level Zero 接口,接入到 oneAPI 的生态里面去,这样保证了整个生态的开放性,对应用开发者来说不需要关心底层用的什么硬件。这就是 oneAPI 强大的地方,它是个开放的生态,而且对用户提供的是一致的接口。
(图 9/未来展望)
最后,对龙蜥社区的未来以及和 Intel 的合作做个展望。首先在开源技术的构建上,Intel 在国际开源社区有很多年的经验,大家可能也知道在 Linux 内核社区,Intel 一直是排名第一的内核代码贡献者。同时,在很多其他的领域,像网络、存储、安全等领域,Intel 也有非常多的经验积累。未来,Intel 将持续助力龙蜥社区在技术上保持领先。我们会不断地把 Intel 开源技术引入到社区,如对于 Intel 新平台的支持。2024 年,Intel 将联合龙蜥社区支持 Intel 下一代新的处理器平台,而且也会继续把垂直软件的优化技术带入到龙蜥社区,帮助龙蜥社区在生态上得到发展。
第二在关键的领域,像 AI、智算领域,AI 可能是现在大家都关注的重点。我们希望跟龙蜥社区共同在 AI 领域发力,一方面对 Intel 新的芯片,包括从云到端到边缘的硬件芯片的 AI 加速功能进行很好的支持,另外在软件编程框架像 oneAPI 和大模型,持续地把 Intel 的优化技术集成进去。未来在 AI 方面有很多工作开展,也帮助龙蜥社区取得进一步的技术领先优势。第三个是生态,Intel 希望持续在生态方面跟龙蜥社区的各个合作伙伴一起,跟上下游的厂商一起,共同利用 X86 生态方面的优势,拉动社区的生态,共同推动社区生态的发展。
从龙蜥社区成立至今已有三年,我也看到龙蜥社区是技术导向且充满活力的社区。未来,我希望龙蜥社区在技术上继续保持领先,在生态上取得更大的发展。感谢大家!
视频回放、课件获取:
2023 龙蜥龙蜥操作系统大会直播回放及技术 PPT 上线啦,欢迎点击下方链接观看~
回放链接:https://openanolis.cn/openanolisconference
技术 PPT :关注龙蜥公众号【OpenAnolis 龙蜥】,回复“龙蜥课件”获取。
版权声明: 本文为 InfoQ 作者【OpenAnolis小助手】的原创文章。
原文链接:【http://xie.infoq.cn/article/cd7df36c147071e87cd8a4b8c】。文章转载请联系作者。
评论