一文搞懂音视频开发技术点及职业发展方向

音视频的知识纷繁复杂，自学非常困难，既需要非常扎实的基础知识，又需要有很多的工程经验；本文就从音视频开发，开源框架，视频，业界大神，书籍推荐，就业方向分析，为广大开发者学习音视频技术提供便利。

首先我们先需要了解音视频包含哪些内容，​解决哪些问题？

说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

• 采集：它解决的是，数据从哪里来的问题

• 渲染：它解决的是，数据怎么展现的问题

• 处理：它解决的是，数据怎么加工的问题

• 传输：它解决的是，数据怎么共享的问题

一、音视频开发主要技术点：

二、开源框架：

实时音视频开源项目：

实时音视频应用共包括几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节，还有更细分的技术模块。

比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有 VP8、VP9、H.264、H.265 等。

采集->前处理编码->传输->解码后处理->渲染

实时音视频开源项目思维导图

三、音视频开发入门必学内容​：ffmpeg

FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

1. windows ffmpeg 命令行环境搭建

2. FFMPEG 如何查询命令帮助文档

3. ffmpeg 音视频处理流程

4. ffmpeg 命令分类查询

5. ffplay 播放控制

6. ffplay 命令选项

7. ffplay 命令播放媒体

8. ffplay 简单过滤器

9. ffmpeg 命令参数说明

10. ffmpeg 命令提取音视频数据

11. ffmpeg 命令提取像素格式和 PCM 数据

12. ffmpeg 命令转封装

13. ffmpeg 命令裁剪和合并视频

14. fmpeg 命令图片与视频互转

15. ffmpeg 命令视频录制

16. ffmpeg 命令直播

17. ffmpeg 过滤器-裁剪

18. ffmpeg 过滤器-文字水印

19. ffmpeg 过滤器-图片水印

20. ffmpeg 过滤器-画中画

21. ffmpeg 过滤器-多宫格

以上视频资料 免费分享有需要的可以自行添加学习交流群 960994558 备注 【FFmpeg 入门资料】

四、音视频业界大神

刘岐

FFmpeg 官方代码维护者之一，十余年一线技术研发与技术管理经验，人称“大师兄”。现任职于 OnVideo 公司，担任 CTO，公司联合创立人，负责在线音视频云编辑与创作平台的开发和建设。曾任职蓝汛、高升、金山云等公司，担任视频部门架构师及技术专家。

赵文杰

擅长音视频编解码和渲染技术，客户端技术专家，开源流媒体服务器 SRS 开发者之一，现任好未来网校事业部高级架构师一职，负责端开发。

廖庆富

主要从事音视频驱动，多媒体中间件，流媒体服务器的高级开发，主导开发过即时通讯+音视频通话的大型项目。曾就职于联发科，现任职于零声教育，资深音视频讲师。主讲 WebRTC,ffmpeg,流媒体。

雷霄骅

两届 CSDN 博客之星、微软 MVP。主要从事与广播电视有关的视音频技术的研究。包括视音频质量评价，视音频编解码，流媒体，媒资检索等。

栗伟

资深音视频技术专家，曾任职于中科院计算所、CC 视频，任职期间利用 WebRTC 技术开发了直播、在线课堂、视频会议等商业产品，并发用户数达到 500 万。开源社区的积极参与者，在 GitHub 上开源了视频会议项目 WiLearning，免费供中小企业使用。

杨成立

阿里云 RTC 服务器团队负责人。负责中国最大 CDN 蓝汛科技流媒体分发系统开发项目。主导研发转码、P2P、流媒体服务器, 开源项目 SRS 主要开发者之一。

五、音视频开发推荐书籍

入门系列

先从 FFmpeg 入手，FFmpeg 的学习建议大家先学 FFmpeg 命令行，然后再学习 FFmpeg API 的使用。先掌握 FFmpeg 命令行能让我们快速理解 FFmpeg 到底能够做什么，功能有多强大。

这里只推荐 2 本，一本是 FFmpeg 命令行相关的，另一本是 FFmpeg API 的使用（基于 Android 和 IOS），其他的同类书籍内容是差不多的。

进阶系列

市面上进阶的书籍不多，主要是 H264/265 编码和 WebRTC 相关的：

（1）H264/H265 编码，但大部分内容和 H264/H265 白皮书是重叠的，如果愿意啃白皮书那就没有必要买这类书籍。

《新一代高效视频编码 H.265/HEVC：原理、标准与实现》现在出版社没有重新印刷了，纸质版的价格都比较高。

（2）WebRTC 相关的书籍

《WebRTC 权威指南(原书第 3 版)》书比较薄，适合了解 WebRTC 的基本通话原理，不适合作为 WebRTC 的进阶教程。

《WebRTC 技术详解：从 0 到 1 构建多人视频会议系统》可以通过提供的范例实现音视频通话，适合新手快速上手 WebRTC 的开发。

有没有特别深入的 WebRTC 书籍呢，答案是：目前没有哪本书是深入讲解 WebRTC，现有的 WebRTC 书籍都是入门级别，没有个七八百页的篇幅没法对 WebRTC 进行详细讲解。

以上视频资料 免费分享有需要的可以自行添加学习交流群 960994558 备注 【音视频电子书】

五、音视频岗就业方向

主要是直播，短视频，教育直播，AR，VR，云游戏，视频会议等一些场景，方向上没多少变化，只是应用场景上多了一些包装，毕竟随 5G 带宽硬件加速，以及人们对视频交互的需求日盛，音视频的使用场景应该会越来越多，从最近的市场需求来说，也侧面证明了需求旺盛的这一点，1-3 年的普遍薪资即可达到 20K-30K！

对于是否要转音视频开发，主要还是看个人的兴趣点与坚持力，音视频属于跨平台技术，常年技术知识点变换不太频繁，广度和深度兼顾，可做工程优化，可做算法深入，嵌入式多媒体芯片等，关键看个人是否有决心在多媒体领域深耕，总体前景还是有的……

如决心进入，需风雨兼程! 加油​！

最后欢迎朋友们加入学习交流群：960994558

一些 FFmpeg/WebRTC/RTMP/NDK/Android 音视频流媒体高级开发学习资料资料、 音视频学习路线、系统性学习视频教学