Android MediaCodec 硬编码 H264 文件，【面试必会
codec.queueInputBuffer(inputBufferId, …);
}
// 从输出缓冲区队列中拿到编解码后的内容，进行相应操作后释放，供下一次使用
int outputBufferId = codec.dequeueOutputBuffer(…);
if (outputBufferId >= 0) {
ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferId);
MediaFormat bufferFormat = codec.getOutputFormat(outputBufferId); // option A
// bufferFormat is identical to outputFormat
// outputBuffer is ready to be processed or rendered.
…
codec.releaseOutputBuffer(outputBufferId, …);
} else if (outputBufferId == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
// Subsequent data will conform to new format.
// Can ignore if using getOutputFormat(outputBufferId)
outputFormat = codec.getOutputFormat(); // option B
}
}
// 调用 stop 方法进入 Uninitialized 状态
codec.stop();
// 调用 release 方法释放，结束操作
codec.release();
MediaFormat 设置
首先需要创建并设置好 MediaFormat 对象，它表示媒体数据格式的相关信息，对于视频主要有以下信息要设置：
颜色格式
码率
码率控制模式
帧率
I 帧间隔
其中，码率就是指单位传输时间传送的数据位数，一般用?kbps?即千位每秒来表示。而帧率就是指每秒显示的帧数。
其实对于码率有三种模式可以控制：
BITRATE_MODE_CQ
表示不控制码率，尽最大可能保证图像质量
BITRATE_MODE_VBR
表示 MediaCodec 会根据图像内容的复杂度来动态调整输出码率，图像负责则码率高，图像简单则码率低
BITRATE_MODE_CBR
表示 MediaCodec 会把输出的码率控制为设定的大小
对于颜色格式，由于是将 YUV 数据编码成 H264，而 YUV 格式又有很多，这又涉及到机型兼容性问题。在对相机编码时要做好格式的处理，比如相机使用的是?NV21?格式，MediaFormat 使用的是?COLOR_FormatYUV420SemiPlanar，也就是?NV12?模式，那么就得做一个转换，把?NV21?转换到?NV12?。
对于 I 帧间隔，也就是隔多久出现一个 H264 编码中的 I 帧。
完整 MediaFormat 设置示例：
MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);
// 马率
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, width * height * 5);
// 调整码率的控流模式
mediaFormat.setInteger(MediaFormat.KEY_BITRATE_MODE, MediaCodecInfo.EncoderCapabilities.BITRATE_MODE_VBR);
// 设置帧率
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
// 设置 I 帧间隔
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);
当开始编解码操作时，开启编解码线程，处理相机预览返回的 YUV 数据。
在这里用到了相机的一个封装库：
https://github.com/glumes/EzCameraKit
编解码操作
编解码操作代码如下：
while (isEncoding) {
// YUV 颜色格式转换
if (!mEncodeDataQueue.isEmpty()) {
input = mEncodeDataQueue.poll();
byte[] yuv420sp = new byte[mWidth * mHeight * 3 / 2];
NV21ToNV12(input, yuv420sp, mWidth, mHeight);
input = yuv420sp;
}
if (input != null) {
try {
// 从输入缓冲区队列中拿到可用缓冲区，填充数据，再入队
ByteBuffer[] inputBuffers = mMediaCodec.getInputBuffers();
ByteBuffer[] outputBuffers = mMediaCodec.getOutputBuffers();
int inputBufferIndex = mMediaCodec.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
// 计算时间戳
pts = computePresentationTime(generateIndex);
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(input);
mMediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, pts, 0);
generateIndex += 1;
}
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
int outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
// 从输出缓冲区队列中拿到编码好的内容，对内容进行相应处理后在释放
while (outputBufferIndex >= 0) {
ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];
byte[] outData = new byte[bufferInfo.size];
outputBuffer.get(outData);
// flags 利用位操作，定义的 flag 都是 2 的倍数
if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) { // 配置相关的内容，也就是 SPS，PPS
mOutputStream.write(outData, 0, outData.length);
} else if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_KEY_FRAME) != 0) { // 关键帧
mOutputStream.write(outData, 0, outData.length);
} else {
// 非关键帧和 SPS、PPS,直接写入文件，可能是 B 帧或者 P 帧
mOutputStream.write(outData, 0, outData.length);
}
mMediaCodec.releaseOutputBuffer(outputBufferIndex, false);
outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
}
} catch (IOException e) {
Log.e(TAG, e.getMessage());
}
} else {
try {
Thread.sleep(500);
} catch (InterruptedException e) {
Log.e(TAG, e.getMessage());
}
}
}
首先，要把要把相机的?NV21?格式转换成?NV12?格式，然后 通过?dequeueInputBuffer?方法去从可用的输入缓冲区队列中出队取出缓冲区，填充完数据后再通过?queueInputBuffer方法入队。
dequeueInputBuffer?返回缓冲区索引，如果索引小于 0 ，则表示当前没有可用的缓冲区。它的参数?timeoutUs?表示超时时间 ，毕竟用的是 MediaCodec 的同步模式，如果没有可用缓冲区，就会阻塞指定参数时间，如果参数为负数，则会一直阻塞下去。
queueInputBuffer?方法将数据入队时，除了要传递出队时的索引值，然后还需要传入当前缓冲区的时间戳?presentationTimeUs?和当前缓冲区的一个标识?flag?。
其中，时间戳通常是缓冲区渲染的时间，而标识则有多种标识，标识当前缓冲区属于那种类型：
BUFFER_FLAG_CODEC_CONFIG
标识当前缓冲区携带的是编解码器的初始化信息，并不是媒体数据
BUFFER_FLAG_END_OF_STREAM
结束标识，当前缓冲区是最后一个了，到了流的末尾
BUFFER_FLAG_KEY_FRAME
表示当前缓冲区是关键帧信息，也就是 I 帧信息
在编码的时候可以计算当前缓冲区的时间戳，也可以直接传递 0 就好了，对于标识也可以直接传递 0 作为参数。
把数据传入给 MediaCodec 之后，通过?dequeueOutputBuffer?方法取出编解码后的数据，除了指定超时时间外，还需要传入?`MediaCodec.
《Android 学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》
【docs.qq.com/doc/DSkNLaERkbnFoS0ZF】 完整内容开源分享
BufferInfo`?对象，这个对象里面有着编码后数据的长度、偏移量以及标识符。
取出?MediaCodec.BufferInfo?内的数据之后，根据不同的标识符进行不同的操作：
BUFFER_FLAG_CODEC_CONFIG
表示当前数据是一些配置数据，在 H264 编码中就是 SPS 和 PPS 数据，也就是?
00 00 00 01 67?和?00 00 00 01 68?开头的数据，这个数据是必须要有的，它里面有着视频的宽、高信息。BUFFER_FLAG_KEY_FRAME
关键帧数据，对于 I 帧数据，也就是开头是?
00 00 00 01 65?的数据，BUFFER_FLAG_END_OF_STREAM
表示结束，MediaCodec 工作结束
总结
笔者之前工作是在金融公司可能并不是特别追求技术，而笔者又是喜欢追求技术的人，所以格格不入，只能把目标放在互联网大厂了。也希望大家都去敢于尝试和追逐自己的梦想！BATJ 大厂 Android 高频面试题
觉得有收获的记得点赞，关注+收藏哦!你们的点赞就是我的动力！
还未添加个人签名 2021.03.19 加入
还未添加个人简介
评论