AI 工程师成长路线图

本文介绍了成为 AI 工程师的详细路线图，包括必要技能、学习资源、项目创意以及如何通过构建实际项目来提升这些技能。原文：Roadmap to Become an AI Engineer

AI 是构建所有技术的新范式。-- Clem Delangue（HuggingFace 联合创始人）

在确定 AI 工程师必将成为下一个重要的技术角色之后，是时候学习如何成为一名 AI 工程师了。

本文将探讨对如下内容：

• 从软件工程师到 AI 工程师的路线图。

• 成为 AI 工程师所需的技能。

• 在发展技能的同时，应该学会使用的工具。

• 发展这些技能的最佳途径。

让我们先看看路线图！

成为 AI 工程师的路线图 🧭

先说第一件事！

目标读者

计划提升 AI 工程技能的程序员/软件工程师/分析师/数据科学家。

由于这是一项核心工程技能，因此需要具备以下先决条件：

• 对 Python / JS 编程的了解达到中级水平。

• 理想情况下，必须拥有至少 2-3 个中等复杂度应用程序的编码经验，如使用 Flask 或 Rails 或 Node.js 编写博客应用。

• 至少可以轻松通过阅读文档来构建项目。

• 可以使用 VS Code 等 IDE 进行编码。

• 使用 git 和 GitHub 虽然也很重要，不过可以在项目工作中学习。

路线图分解

如图所示，整个 AI 工程的学习分为三个阶段，在路线图中从左到右，即从初级到中级再到高级。

以下是每个阶段所代表的意义：

• 初学者（<= 1 个月） -- 构建基本应用程序，学习使用 LLM API、为应用程序精心设计提示以及使用开源 LLM。

• 中级（~ 2 个月） -- 深入了解如何使用 RAG（Retreival Augmented Generation）构建更多上下文感知高级应用程序，了解并使用向量数据库，学习使用 LLM 和工具构建代理。

• 高级（~ 3 个月） -- 在掌握构建应用程序之后，学习使用 LLMOps 在生产中部署、优化和管理由 LLM 驱动的应用程序，学习微调预训练模型，以便高效、低成本的适配下游应用程序。

初级技能

• 了解 LLM 基础知识，只需了解 ChatGPT 的高级工作原理。

• 学习开发人员提示工程，学习如何编写提示来提高 LLM 的响应速度。

• 学习从 API 获取数据，学习处理 JSON 数据。

• 学习调用闭源或开源 LLM 模型、函数调用、传递提示和解析响应。

• 学会在对话中管理上下文。

• 学习基于 langchain 创建并自动执行一系列操作。

• 基于 Gradio 或 Streamlit 实现 POC 并演示基本应用开发。

• 在 HuggingFace Space 或 Streamlit 云上进行基本部署。

• 基于 HuggingFace transformer 库支持多模态，即支持生成代码、图像和音频。

中级项目需求

• 了解向量嵌入和向量数据库。

• 学习如何在应用中使用向量数据库。

• 构建 RAG 应用，与知识库聊天。

• 开发先进的 RAG 流水线，如子问题查询引擎，该引擎可在通过多个数据源后提供响应。

• 构建代理，迭代工作流程，以完成重大任务。

• 建立多代理应用，让多个代理共同提供更好的解决方案。

• 多代理自动化 - Autogen 和 Crew AI

• 评估 RAG/RAGA 框架。

• 管理数据库，检索，部署完整应用，版本控制，日志记录以及监控模型行为。

高级项目需求

• 量身定制针对特定领域知识的响应，如医学研究、金融研究和法律分析，对预训练 LLM 进行微调。

• 整理数据集并设计（ETL 流水线）流水线，以便对模型进行微调。

• 评估模型性能并设定基准。

• LLMOps -- 构建包括模型注册、可观测性和自动化测试在内的完整端到端流水线。

• 构建多模态应用 -- 文本和图像混合语义搜索。

• 构建 SDK、软件包和定制解决方案，以帮助其他开发人员。

• 基于提示黑客等技术保护 AI 应用，并通过检查漏洞和潜在风险来采取防御措施。

如果你花了足够时间构建应用并调整模型，那技能应该像下面这样进步：

如何培养这些技能呢？

学习资源、参考资料和项目 📚

AI 学习资源和教程非常丰富。

有很多很好的资源可以学习所有这些概念，也有很多好心人就每个主题提供了非常深入和详细的材料。

很难在一篇文章里展示所有的资源，请参考 Github 链接。

最好的学习方式 -- 构建！

知道了应该做什么，接下来我们谈谈做这件事的最佳方法。

开展项目。

这不仅是学习的最佳方式，也是真正掌握概念的最佳方式，它将进一步提高思考前沿用例的技能。

可以在上面提到的 Github 库中找到项目创意。

你好，我是俞凡，在 Motorola 做过研发，现在在 Mavenir 做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI 等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。为了方便大家以后能第一时间看到文章，请朋友们关注公众号"DeepNoMind"，并设个星标吧，如果能一键三连(转发、点赞、在看)，则能给我带来更多的支持和动力，激励我持续写下去，和大家共同成长进步！