FFmpeg 之 I、B、P 帧的基本编码原理（三

I 帧的压缩编码算法

从图中可以看到，如果图像是用 RGB 颜色空间表示的，则首先把它转换成用 YCbCr 空间表示的图像。然后每个图像平面分成 8x8 像素的图块，并对每个图块进行离散余弦变换（DCT）。

这里 DCT 的作用非常大，看它的名字可能会觉得非常高大上，其实它就是一个矩阵变换。关于它其实都可以专门写一篇文章出来，不过这里我们只需要知道它的作用即可。DCT 简单点来说，它就是将前面 8x8 像素图块的颜色空间数据，分为高频数据和低频数据，所以我们也常说，DCT 是把数据从空间域转换到频率域。

那什么是高频和低频呢？这里的高频数据是指，图像颜色的变化比较强烈的地方，比如人像画的轮廓与背景的交叉处，在这里的色值变化很快，所以称为高频。相对的低频就是指，颜色变化比较缓和的地方。所以 DCT 的作用并不是对数据进行压缩，而是为了方便后面的操作，比如量化、RLE 行程编码、以及霍夫曼编码。

下一步就是量化，因为人眼对高频区域其实并不敏感，所以利用这一点，可以将高频部分数据进行压缩。这样一来，图块的数据就会呈现两部分，一部分是变化平滑的低频数据

《Android学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》
浏览器打开：qq.cn.hn/FTe 免费领取

，另一部分是刚压缩过的高频部分，数值也变得差不多。而后再经过 Zig-zig 编排，数据就会呈现出连续几个值相同的的形式，比如 23334551550000。这样一来，再经过 RLE 行程编码，就可以去掉连续值相同的冗余数据。

因为 RLE 在编码时，对相同的数值只编码一次，同时计算相同数值重复的次数，因此称为行程编码。而与 RLE 处于同级的 DPCM，则主要是对图块与图块之间的差值进行编码。这样一来可以再次压缩数据，之后再通过霍夫曼编码或者算术编码，编码操作也就完成了。同样霍夫曼编码和算术编码，也可以单独写一篇文章出来。

2、P 帧的基本编码原理

===========

P 帧也就是预测图像 P，与 I 帧不同的是，它不仅要从空间上去除冗余数据，还要从时间冗余方面上着手，因为它是以在它之前出现的 I 帧作为参考对象来编码的。与 I 帧不同的是，预测图像 P 的编码是以 16x16 像素的宏块为基本编码单元的。对于 P 帧，为了表示它与前面 I 帧的关系，我们会一直用预测图像和参考图像这两个词。

其实很好想象，因为对预测图像编码，就是对它和参考图像直接的差值进行编码。所以我们只需要做到以下两点即可：

• 1、算出当前要编码的图像宏块，与参考图像宏块之间的差值

• 2、计算出宏块的移动矢量

比如下图：

这张图应该一目了然，时刻 1 中的人像，在时刻 2 移动到了图像右侧。这个过程中变化的，不只是人像的位置，因为人在移动的时候，会有其他的动作，比如低头、转头、仰头等动作。所以我们并不仅仅要计算出人像变化之后的位置，也就是移动矢量，还要计算出两个宏块之间的差值。

当然这两者在编码过程中，是有个先后关系的。比如我要计算出宏块的移动矢量，那我得找到参考图像中的宏块，在预测图像中的位置吧。而更进一步，那我怎么找到预测图像相对于参考图像中，图块的位置呢？答案是预测图像中的某个宏块，与参考图像中的这个宏块的差值最小，也即最佳匹配宏块。

这就引起了一系列的搜索算法，去预测图像中去找这个宏块，比如二维对数搜索法、三步搜索法、对偶搜索法。而对预测图像 P 的编码所引起的时间，则主要是执行这个搜索算法所占用的时间。

等找到最佳匹配宏块后，计算出差值和移动矢量，剩下的操作就和对 I 帧的编码一致了。

预测图像 P 的压缩编码算法

3、B 帧的基本编码原理

===========

B 帧也是双向预测图像 B，对它的编码，即是对它前后帧的像素值之差进行编码，具体的方法和对预测图像 P 的算法类似。