写点什么

封装格式介绍

作者:Loken
  • 2022 年 5 月 13 日
  • 本文字数:1700 字

    阅读完需:约 6 分钟

在讲封装格式之前,先讲一下什么是文件格式,计算机存储任何东西都是二进制的,ASII 码字符串是二进制的,一个 ASII 字符占 1 个字节。int 类型存储在文件也是二进制的,一个 int 占 4 个字节。

大家经常使用的文本编辑器,如果打开 ASII 码文件是显示正常的,但是如果打开存储 int 的二进制文件,就会显示很奇怪,因为文本编辑器把 int 4 字节认为是 4 个 ASII 码了。

不只是 int ,还有很多数据类型也可以存储在文件里面。因此在这里,我把文件格式分为两种:

1,字符串存储,直接用普通的文本编辑器,notepad++,sublime,打开文件即可查看内容。

2,二进制存储,需要专门的软件分析文件的内容。


实际上,音视频封装格式 是 属于 文件格式的二进制存储的。音视频封装格式的特殊之处在于他的英文是 mux ,复用。学过 TCP 的同学应该听过 多路复用,音视频封装格式也是同理,可以把多个流数据合并到一个文件里面,这就是封装格式,这就是 mux。

因为编码压缩系统 输出 的是单路流,视频编码系统输出视频流,音频编码系统输出 音频流,封装格式就是可以把多个流合在一个文件里面。

FLV,MP4,MKV 这些都是封装格式,这些文件存储的内容都是二进制的。封装格式 实际上 就是各个 组织或者公司 之间,定一个标准,这种格式的文件,都有哪些字段,各个字段是什么意思,占多少字节,在文件的什么位置,各个字段之间的嵌套关系是怎么样的。封装格式定义的就是这些东西。

封装格式实际上就是定义一种标准,例如 MP4 标准,大家都按照 MP4 标准文档这种方式去读写数据内容,就不会有问题。举个例子,我跟别人约定好,面包放在抽屉的第一层,第二层放药品。这样别人就知道去第一层拿面包。如果我不按照约定把面包放在第一层,别人就会找不到面包,他的解析就会报错,找不到面包。

封装格式主要的作用是提供一个约定的规则。封装格式可以把 音视频流合在一起。

封装格式是多种多样的,为了解决不同的场景问题,大家会定义出来不同的格式。举个例子。

1,点播场景,什么是点播,就是视频已经录好了,放在服务器,客户端按需拉取一小端内容播放,不需要下载全部的视频内容。点播场景比较适合用 MP4 格式,因为 MP4 格式定义了 stts 索引表以及一些相关的数据结构,可以很快的跳转,例如 跳转 某个时间点播放,MP4 格式会比 FLV 快很多。

2,直播场景,MP4 格式的 box 结构要全部视频录完才能生成,而直播是不知道什么时候结束的。所以用 FLV 格式比较合适。

所以不同的封装格式,是解决不同场景的问题。不过封装格式还会解决一些共同的问题,就是音视频同步。封装格式会给每个视频帧跟音频帧打上一个时间戳 PTS。

播放器单独播放视频流,或者音频流的时候,是不需要这个 PTS 时间戳的,视频流按帧率播放,音频流按采样率播放即可。这个 PTS 可以帮助音视频同步。

下面来讲解为什么,因为我们使用的操作系统大多都是分时系统,也就是每个任务分配一定的 CPU 时间片。

假设 Windows 系统正在播放一个视频(没有音频流),帧率是 1 秒 24 帧,现在是晚上 8 点 00 分 00 秒。第一帧视频是从 8:00:00:00 开始播放,按帧率播放,41 毫秒就需要显示第二帧,所以第二帧应该在 8:00:00:41 的时候播放,第三帧在 8:00:00:82 的时候播放,这样画面看起来才是流畅的。但是由于是分时系统,在 8:00:00:41 的时候,CPU 在忙着干其他的任务,无法切换回来播放器线程。所以第二帧有可能是在 在 8:00:00:61 的时候才开始播放,慢了 20 毫秒。这种情况我们能怎么办?即使播放器是我们开发的,我们也什么都干不了,在某个时刻 CPU 就是忙不过来。第二帧慢了 20 毫秒,第三帧也慢 20 毫秒就行了。这样后面 CPU 不忙碌,看起来也会很流畅。这是单个视频流的情况。

假设如果有个音 视频流 同时播放,本来画面声音是需要同步的,例如第二帧视频播放的时候,第二帧音频也要播放。但是因为视频流慢了 20 毫秒,如果音频流的播放线程不理会 视频播放线程的卡顿情况,音频流还是按自己的采样率播放,就会导致音频流播放快于 视频流 20 毫秒,这样不断累计,音视频流就会逐渐差距很大,画面不同步。所以需要封装格式给 每个 音视频帧打上一个 PTS。音视频流 播放线程 通过观察对方 已经播放的 PTS 来决定自己要继续播放还是休眠,还是丢弃帧。

发布于: 刚刚阅读数: 3
用户头像

Loken

关注

音视频工程师 2022.04.21 加入

音视频工程师,个人博客 www.xianwaizhiyin.net

评论

发布
暂无评论
封装格式介绍_音视频_Loken_InfoQ写作社区