前言 | AI 工程化部署

1.AI 算法落地过程

在现实场景中，要让 AI 算法应用到实际业务场景中，通常需要经历如下过程：

• 业务分析：分析应用的场景特点（比如数据等）和要求以及目标

• 确定可验收的目标的测试或者验证集

• 确定验收的评价指标

• 收集符合场景的数据

• 训练一个 baseline 模型，然后评估和分析，开始迭代，直到达到目标要求

• 将可用的模型部署到线上环境

• 收集线上环境的反馈持续优化模型

当然，以上的诸多过程都是可重复迭代的，比如更改验证集，评价指标或者增加删除训练数据等。

2.AI 工程化部署的重要性

AI 算法落地过程中，AI 工程化部署就是将可用的模型部署到线上环境的过程，是直接将 AI 功能提供给外部使用的关键环节。

AI 工程化部署通常涉及到几个重要的要求：

• 性能要求：如实时性（直播）和高并发

• 稳定性：高可用性

• 部署硬件和系统：算法需要适配不同的部署硬件，如 GPU，NPU，CPU，TPU，FPGA 等，不同系统架构 ARM 和 x86 等

• 安全性：特别是生成式模型的不可控性带来的安全和合规问题

3.主题规划

要达到 AI 工程化部署的诸多要求，需要除了 AI 算法以外的诸多技术，因此结合实际的项目经验，希望总结一些在 AI 工程化部署的有用技术供大家参考。初步的内容规划如下：

• 性能要求：c/c++基本知识，高性能和并行编程（多线程，openMP，CPU 指令集编程），CUDA 编程，模型加速（压缩，转换，量化），

• 部署硬件和系统：主要涉及推理加速如 TensorRT，TVM，NCNN，Openvino 等推理框架的原理和使用

• 稳定性：主要针对服务端部署，如分布式部署，任务调度等

• 安全性：主要涉及安全性风险策略

以此为开篇！