加速 AI 边云协同创新！KubeEdge 社区建立 Sedna 子项目

KubeEdge SIG AI 是 KubeEdge 社区的多个特别兴趣小组(Special Interest Group)之一，主要聚焦边缘 AI 相关的技术讨论、API 定义、参考架构、开源实现等，使能 AI 应用在边缘更好的运行（包括成本节省、性能提升、隐私保护等）。

边缘 AI 趋势已现

随着边缘设备数量指数级增长，以及设备性能的提升，数据量爆发式增长，数据规模已由原来的 EB 级扩展到 ZB 级。数据回传中心云处理成本太高，目前业界对边缘计算的价值已经被证明。数据在哪里，计算就应该在哪里，人工智能也正逐步向边缘迁移，将云上 AI 能力下沉到边缘节点，做到本地处理，打通 AI 的最后一公里。

目前各大厂商均推出了自研的边缘 AI 芯片，据德勤预测，至 2024 年边缘 AI 芯片销量预计将超过 15 亿片，万物智联的时代不再是遥不可及。比如园区里面随处可见的智能摄像头，进行人脸识别，车牌识别；家里面的智能电视，智能音响；工业领域里面的无人机进行电力线路智能巡检等等，边缘 AI 正在极大的提高了我们的生产生活效率。

AI 在边缘落地过程中面临的挑战

虽然边缘 AI 技术的相关研究和应用都有着显著的进展，然而在成本、性能、安全方面仍有诸多挑战：

• 数据孤岛，边缘天然的地理分布性, 隐私保护和网络瓶颈等因素导致数据集天然分割, 传统集中式 AI 模式在收敛速度, 数据传输量, 模型准确度等方面仍存在巨大挑战。

• 边缘数据样本少，冷启动等问题，传统大数据驱动的统计 ML 方法面临无法收敛、效果差等问题。

• 数据异构：现有机器学习基于独立同分布假设，同一模型用在非独立同分布的不同数据集的效果差别巨大。比如摄像头的角度、远近等导致实验室训练的模型推到边缘时精度会下降大约 5%-10%。

• 资源受限：相对云上资源的海量易获取，边侧资源受限（算力、供电、场地等均受限），建设与维护成本更高。

如何发挥边缘计算的实时性和数据安全性，结合中心云的海量算力优势，实现 AI 的边云协同，就成了解决上述挑战的关键课题。

KubeEdge Sedna 子项目

作为时下最活跃的云原生边缘计算社区，KubeEdge 吸引了全球多个领域用户和开发者落地和参与，并于 2020 年下半年成立了 AI SIG（Special Interest Group）。

KubeEdge SIG AI 致力于解决 AI 在边缘落地过程中的上述挑战，提升边缘 AI 的性能和效率。结合前期将边云协同机制运用在 AI 场景的探索，AI SIG 成员联合发起了 Sedna 子项目，将最佳实践经验固化到该项目中。

Sedna 基于 KubeEdge 提供的边云协同能力，实现 AI 的跨边云协同训练和协同推理能力，支持业界主流的 AI 框架，包括 TensorFlow/Pytorch/PaddlePaddle/MindSpore 等，支持现有 AI 类应用无缝下沉到边缘，快速实现跨边云的增量学习，联邦学习，协同推理等能力，最终达到降低成本、提升模型性能、保护数据隐私等效果。

Sedna 架构图如下所示：

1）GlobalManager：基于 Kubernetes Operator 实现边缘 AI 控制器，用户通过创建 CRD 来实现模型/数据集管理，边云协同 AI 任务管理，以及 AI 任务的跨边云协调。目前支持如下 AI 任务：

• 增量训练: 针对小样本和边缘数据异构的问题，模型可以在云端或边缘进行自适应优化，边用边学，越用越聪明。

• 联邦学习: 针对数据大，原始数据不出边缘，隐私要求高等场景，模型在边缘训练，参数云上聚合，可有效解决数据孤岛的问题。

• 联合推理: 针对边缘资源需求大，或边侧资源受限条件下，基于边云协同的能力，将推理任务卸载到云端，提升系统整体的推理性能。

2）LocalController：实现增量训练、联邦学习、联合推理特性的本地闭环管理。数据集和模型管理的本地控制，AI 任务的状态同步等。

3）Lib：给应用提供边云协同 AI 特性接口，用户基于该 Lib 实现边云协同的训练、聚合、评估和推理。

后续计划

基于目前 Sedna 的能力，后续将持续演进，包括但不限于：

• 支持更多边缘硬件和 AI 平台，如 NPU, Pytorch，KubeFlow，ONNX 等。

• 增强跨边云数据集管理、模型管理。

• 自动转换边缘模型。

• 支持多种边缘 AI 关键特性，比如基于知识库的终身学习、多任务迁移学习。

• 构建边缘 AI benchmark。

相关链接

项目地址：https://github.com/kubeedge/sedna

例会时间和地址：

时间：每周四上午 10: 00

地址：https://zoom.us/my/kubeedge

SIG AI 工作目标和运作方式：https://github.com/kubeedge/community/tree/master/sig-ai

欢迎关注华为云原生团队，我们将为你提供：

我们每日更新关于云原生技术动态、实战进阶、应用案例等；

入群与行业技术大牛，1 万+云原生爱好者一起链接学习；

不定期邀请云原生 OG 级技术大咖分享技术实战

…………