音视频入门(二)色彩空间 RGB 和 YUV
但是,人眼对于这三种颜色分量的敏感程度是不一样的。通常来说,人眼对红色最不敏感,蓝色最敏感,如果颜色的相似性直接用欧氏距离来度量,其结果与人眼视觉会有较大的偏差。对于某一种颜色,我们很难推测出较为精确的三个分量数值来表示。
二. YUV
人眼的视觉特点对亮度更加敏感,对位置、色彩来说相对敏感度更低。而在视频编码系统中,为了降低带宽,保存更多的亮度信息,减少保存色差信息,所以 YUV 实际上是一种偏向亮度的色彩空间。主要用在视频、图像处理中。
YUV 相比于 RGB 只需要占用极少的频宽(RGB 需要三个独立的原色信号同时传播),YUV 中,Y 代表的是明亮度
,也称为:灰阶值
,而 UV 表示的是色度
(色调饱和度),也可以记作:YCbCr。如果只有 Y 数据,那么我们可以得到一张黑白的图像。
使用 YUV 格式才能极大地去除冗余信息,因为前文提到了,人眼对亮度更加敏感,所以,往往压缩算法会将 RGB 数据转换为 YUV 数据,对 Y 少压缩一点(尽可能地保留细节),而对 UV 多压缩一点(色彩不敏感,难以感知),平衡图像效果和压缩率。
上面的内容,我们知道:GRAY = R *0.30 + G *0.59 + B*0.11
这里的 Gray 由是哪个变量乘上系数构成,我们只知道 Gray 是没有办法凭空推出 R、G、B 色彩值的。
但是,我们知道还有两个相关的分量:UV。我们在做 RGB 转 YUV 时,同样也计算出了两个相关的分量:U、V,这样一来就得到一个三元三次方程组,我们可以轻松地由 YUV 得到最终的 RGB 值。
//RGB 转 YUVY = 0.299R +0.587G + 0.114BU = -0.147R - 0.289G -0.436BV = 0.615 - 0.515G - 0.110B
//YUV 转 RGBR = Y + 1.140VG = Y - 0.395U -0.581VB = Y + 2.032U
这里的大量的浮点运算可能会导致一些性能问题,我们可以采用一定的方法规避掉这样大量的浮点运算,加快运行效率。
YUV 色彩空间即可以兼容黑白电视(只要 Y),又可以兼容彩色电视(YUV 协同工作)。YUV 只是一种颜色空间的构成方式,具体的实现标准又因为数据排列方式的不同,又分为不同的存储格式,一般的 Android 摄像头输出为
NV21
格式,而I420
格式则是绝大多数编解码器默认输入输出的格式。两种存储方式中,Y 数据是一模一样的,从下图的 Y0 一直到 Y15,而
nv21格式
中,是进行 VU 交叉排列的,而I420格式
中,则是排列 4 个 U,接着再是 4 个 V。如果十六像素点的 RGB 图像,存储需要 RGB 三个通道,共 16 * 3 = 48 个单位的空间。 而采用 YUV,如上图压缩后的 YUV(U、
V 按四倍压缩)图像,存储仅需要 16 + 4 +4 = 24 个单位的空间。我们发现,节省了一半的空间。如果我们需要将NV21
转成通用的I420
也很简单,记录下整个图像的width
和height
(简称 w、h),由于每个像素点都需要一个 Y 值,所以 h 乘以 w 的值最终就是 Y 通道占有的值。如上图的 Y0-Y15。然后将Nv21格式
中交叉的YU
数据进行交换即可。
评论