写点什么

音视频入门基础(一)

发布于: 2020 年 08 月 26 日
音视频入门基础(一)

本文主要介绍的是音视频的一些概念的东西,让大家对音视频大概有个了解。

1、原始数据

原始数据表示的是,我们通过视频采集卡或者拾音器采集到的数据,播放的时候也是播放原始数据。变声、马赛克等处理的也是原始数据。

1.1音频

  • 格式

  • PCM

  • 重要参数

  • 采样率:

一秒钟内对声音信号的采样次数,采样频率越高声音的还原就越真实。

常见的采样率有 8K、16K、22.05K、32K、44.1K、48K

  • 声道数:

单声道、双声道(立体声)

  • 量化位:

决定了声音的动态范围

常见的有16bit、24bit、32bit

1.2视频

  • 重要参数

  • 分辨率:640*480、1280*720、1920*1080、2K、4K

  • 像素格式:RGB、YUV

  • RGB:红绿蓝

  • 常见格式:rbg8、rgb16(565)、rgb24、rgb32等

RGB8: 灰度图、调色板

RGB16(565):[rrrrr gggggg bbbbb]

RGB24:[G B] [ G B] [G B]……

RGB32:[G B A] [G B A] [G B A]……

  • YUV :“Y”表示明亮度,“U”和“V”表示的是色度

  • 常见格式:YV12、NV12、YUY2、I420等

  • 分类: 

占字节数:YUV420、YUV422、YUV444

打包方式:平面( YV12 )、半打包( NV12 )、打包格式(YUY2)等

  • YV12

[Y0 U0 V0] [Y1 U0 V0] [Y2 U1 V1] [Y3 U1 V1] [Y4 U2 V2]…..[Y8 U0 V0]......

  • NV12

[Y0 U0 V0] [Y1 U0 V0] [Y2 U1 V1] [Y3 U1 V1] [Y4 U2 V2]…..[Y8 U0 V0]......

  • YUY2

[Y0 U0 V0] [Y1 U0 V0] [Y2 U1 V1] [Y3 U1 V1] [Y4 U2 V2]…..



2.编码

2.1音频编码

  • 编码格式

  • G711、G722、G726、G729、Mpeg1-layer3(mp3)、AAC、OPUS、speex等

  • 重要参数

  • 采样率

  • 声道数

  • 量化位

  • 码率

  • 例子:

以AAC编码为例,AAC编码包括头部分和数据部分,AAC的头有两种ADTS和ADIF,通常我们见到的都是ADTS,ADTS由两部分组成,固定头信息和可变头信息。下图位一帧AAC编码帧数据。

2.2视频编码

  • 编码格式

  • mpeg-1、mpeg-2、mpeg-4、vp8、vp9、H264、h265、AV1、AVS系列、H.266、MPEG5等

  • 重要参数

  • 分辨率

  • 帧率

  • 码率

  • 例子:

以H264编码为例,H264编码帧类型包括 SPS、PPS、IDR、P frame、B frame等。下图为一帧H264编码帧(包含了SPS、PPS、IDR)。

3.文件格式

  • 文件格式是一种容器,好比杯子,而音视频数据好比水。杯子是用来装水的。

  • 常见格式

MP3、MOV、AVI、RMVB、MP4、FLV、TS、FMP4、MKV等。

  • 文件格式分两种:一种是带索引的,比如AVI、MP4等;另一种是不带索引的,比如FLV、TS等

  • 文件格式一般由三部分组成:文件头+音视频数据+索引,但是有些没有索引比如flv,有些没有文件头和索引比如TS。

  • 例子:

以FLV文件为例,音视频是如何封装成FLV的。文件头后续跟着一帧帧的音视频数据。每帧数据以flvtag打包,这里就不具体详解了,有兴趣的可以网上查一下flv tag的结构。

4.总结

这章节我们主要讲了三个内容,原始数据、音视频编码、文件格式,都是一些基本概念。其中原始数据格式要记住,变声马赛克等音视频的处理都是对原始数据处理的,编码过数据需要解码后才能处理。下一章节我们讲讲如何编码以及这些编码参数有什么作用。



作者:北京华宇信息技术有限公司-研究院-多媒体实验室





用户头像

为成为中国最顶尖的法律科技公司而奋斗! 2020.05.21 加入

公司主页:http://www.thunisoft.com/ 北京华宇信息技术有限公司以“法律科技”和“智慧政务”双轮驱动为发展战略,为客户的信息化事业提供全方位的解决方案与服务,是您值得信赖的智慧信息服务专家。

评论

发布
暂无评论
音视频入门基础(一)