Android视频开发中如何进行MP4文件的解析

我会主要介绍容器 (container format file) 格式文件的细节，以最常见的 MP4 文件入手。然后会简短的介绍一个标准的播放器的启动，解析，播放流程。本篇还是以基础知识为主，虽然很枯燥，但是对视频开发的学习有非常大的好处，我自己个人的感受就是，如果在很多专有名字，概念都不熟悉的情况下，想要去阅读播放器源码会是相当困难的事情。比如 Exoplayer，谷歌的分包策略就是根据播放器的组件来分包。如果不熟悉播放器的基础构建的话，连哪个部分的代码在哪个包都不知道。希望大家如果真的想进阶的话还是耐心的理解好每个基础概念。

1. Mp4 格式文件的构成

在上期我们大概介绍了 Mp4 文件的结构

但是这样抽象的介绍可能还是比较难理解，我们深入一些。

1.1 MP4 到底是个啥？

通俗的说，MP4 其实是一种格式的规范，这个规范是被 ISO 机构认证的，也就是说，只要你通过 Codec 生成了一个 mp4 文件，那么这个文件的格式必须是按照 ISO 机构的规矩来。。。。既然是规范，那么我们看看到底 ISO 对 mp4 做了什么规范:

请大家打开链接->ISO 的 mp4 文件规范 ^[1]

大家可能会有点懵逼，看不懂。其实这个规范很好理解，它定义了一个 MP4 文件里面，哪些数据应该放在什么位置 (以字节为单位)，哪些数据的长度是多少。我截取了一段:

大家看，上面这一段规范定义了 ftyp 这个头文件 header 所在的位置和长度 (以字节为单位)。至于这些头文件是有什么用，我在上一篇文章大概提到过，他们属于 meta data 的一部分。在本章我会更详细的介绍。

所以说，任何容器，包括 mp4 都是类似的结构化文件，只不过不同的格式文件 ISO 对其有严格的要求，数据的摆放顺序，排列等等不同而已。有兴趣的同学可以对比一下 rmvb，mp4，mkv 这些格式的要求有什么不同，优劣势各是什么。

2. Mp4 头文件的构成

关于 mp4 文件的头文件格式（meta data），苹果官网对其进行了详细的描述（这个介绍是基于 QuickTime 播放器支持的 mp4 文件来介绍的，quciktime 播放器对 mp4 的要求有些许不同，但是差别不大，我们可以忽略）:

Movie Atom^[2]

我们不追究太多细节，有兴趣的同学可以自己查看，我们专注于一些基础的信息。

首先，在 Meta Data 里面，每一个 Header，头文件，我们都叫他们 Atom Header(不知道咋翻译)。Atom Header 分为 Leaf Atom 和 Container Atom。前者代表一个连接着字符串信息的头文件，后者是一个包含了若干个子 Atom 的头文件，他们互相之间是有层级关系的 (参考上图)。每次播放器获取了 movie atom 之后 (moov)，会根据层级关系，向下，或者向下读取相关的其他信息。每一个头文件都会对它的子头文件保存位置的引用，所以只要根据 mp4 文件的规范获取了最顶级的头文件 moov,就可以顺势往下读取其他头文件了。

我们来看看 mp4 的头文件结构

看起来很复杂，但是对于一个播放器来说，很多信息都不是必须。我们需要知道的最重要的信息是采样索引表(Sample Table Atoms).对应图中“**stbl **”这个 atom header。这个索引表保存了 mp4 文件所有的采样 (sample) 与视频时间的对应关系 (一般以微秒为单位)，还有包括每个采样的大小，在 mp4 文件中的起始位置 (以自己为单位)。

3. 标准播放器的启动流程

那么既然我们已经知道一个容器文件的格式规范了，播放器就可以通过解析容器的头文件来控制播放 (playback) 了。

3.1 播放器

通常播放器由三个部分构成

1. 读取器 (Extractor)
2. 渲染器 (TrackRenderer)
3. 加载控制器 (Load Controller)
4. 数据源 (Source)

读取器负责从 source 文件读取数据，加载控制器负责控制读取数据的策略 (比如说在线视频播放的时候缓冲策略)，渲染器负责接收读取器读取的数据，并渲染到屏幕上。

3.2 播放器的播放过程

在播放器可以把数据提交给渲染器之前，播放器需要把必需的头文件全部解析并存入内存，比如之前说的采样索引表。一般播放器在解析完毕后，会构建三个个表，一个存放时间对应采样索引，一个存放采样索引对应在 mp4 文件中的起始位置 (以字节为单位),一个存放采样索引对应大小 (以字节为单位)。以下图为例

假设播放器需要从第 1 微秒开始播放，那么需要把第 1 微秒的数据放入渲染器。所以会查找下面这三个表。

通过表 1，我们知道该微秒对应第 1 个采样（sample），从第一个和第二个表我们知道，第 1 个采样的数据范围 (在 mp4 文件内) 是从第 0 字节到 300（0+300）字节，那么播放器就会去读取这个范围的数据并且放入渲染器中进行渲染。

同时，加载器会基于当前已经缓存的数据，决定是否还需要不停的读取数据进入内存。一般来说每个播放器都有默认的缓存值，也会有一个基准线，只有当缓存足够数据才能放进渲染器进行渲染。

最后同理，当我们拖动滑动控制器 (SeekBar) 想快进的时候，我们和第一步一样，通过我们想滑动的时间获取采样的索引，再重新开始读取数据。

综上所述，播放器在正式播放视频文件之前，必须要把头文件全部读取并解析 (这会是一段非常耗时的程序)，这也是在线视频播放的等待时间的瓶颈。在接下来的章节我会介绍自适应视频播放 (Adaptive Streaming)，这个技术的发明使得了分段式 mp4 文件 (Fragmented Mp4) 技术得以诞生，大大的减少了在线视频播放的等待时间。

4.在线视频播放的技术基础 (online video streaming)

在线视频的播放其实和播放本地视频的局别就是 Extractor 读取的 Source，数据源不一样，在线播放需要下载数据到内存，再交由 Extractor 读取分析。但是既然是在线视频播放，我们肯定不能把整个容器文件下载到内存或者硬盘再开始解析播放。我们希望能控制下载的进度，比如我当前在看第 10s 的视频内容，所以我只想缓存/下载视频内容到第 20s 的位置。

我们俗称的渐进式下载 (Progressive Downloading) 就解决了这一难题。

说的好像是很吓人的黑科技啊！！！！

其实就是 HTTP1.1 协议支持的分段式下载而已。。。。。

在 HTTP 请求里面假如一个叫 RANGE 的 header，放入起始字节和结束字节，就可以只下载对应部分的数据，这一 header 的支持也是各种下载软件实现断点下载的基础。每次断网的时候记录下来已经下载的数据的字节数，下次再下载的时候从字节数+1 处重新下载并且写入原有文件就可以了。