写点什么

如何通过 OpenHarmony 的音频模块实现录音变速功能?

  • 2022 年 8 月 25 日
    上海
  • 本文字数:4438 字

    阅读完需:约 15 分钟

如何通过OpenHarmony的音频模块实现录音变速功能?

简介

OpenAtom OpenHarmony(以下简称“OpenHarmony”)是由开放原子开源基金会孵化及运营的开源项目,是面向全场景、全连接、全智能时代的智能物联网操作系统。


多媒体子系统是 OpenHarmony 系统中的核心子系统,为系统提供了相机、音频和视频等多媒体功能。多媒体子系统的音频模块、音频录音功能可以提供两套接口,一是由 ohos.multimedia.media 提供的 AudioRecorder 接口,能够直接设置录音保存的文件路径,在录制结束以后自动生成对应的录音文件,代码编写比较简单;二是由 ohos.multimedia.audio 提供的 AudioCapturer 接口,能够获得录音过程中的 PCM 数据,并对数据进行处理。由于 Capturer 接口对于原始数据的处理更加灵活,今天就和大家介绍通过 Capturer 接口实现录音变速的功能的方法。


效果展示

通过 Capturer 接口实现音频的录制,在录制过程中对 PCM 数据进行重采样实现声音的快放和慢放。


首先设置录音加速或者录音减速,设置完成以后点击“录音开始”按钮进行录音,点击“录音结束”按钮停止录音,再通过点击“播放开始”对录音的音频进行播放,播放的音频是设置后的加速或者减速效果。


代码已经上传至 SIG 仓库,链接如下:https://gitee.com/openharmony-sig/knowledge_demo_entainment/tree/master/FA/AudioChangeDemo


目录结构



调用流程


1.Start 的框架层调用流程



  1. Read 的框架层调用流程



源码分析

1.首先看一下页面的布局,主要分为四个模块:


(1)设置录音加速

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;">    <text style="font-size: 30fp;">设置录音加速:</text></div>
<div class="container"> <button class="first" type="capsule" onclick="set_5_4">1.25倍速</button> <button class="first" type="capsule" onclick="set_6_4">1.5倍速</button></div>
<div class="container"> <button class="first" type="capsule" onclick="set_7_4">1.75倍速</button> <button class="first" type="capsule" onclick="set_8_4">2倍速</button></div>
复制代码


(2)设置录音减速

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">    <text style="font-size: 30fp;">设置录音减速:</text></div>
<div class="container"> <button class="first" type="capsule" onclick="set_3_4">0.75倍速</button> <button class="first" type="capsule" onclick="set_2_4">0.5倍速</button></div>
复制代码


(3)录音

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">    <text style="font-size: 30fp;">录音:</text></div>
<div class="container"> <button class="first" type="capsule" onclick="record">录音开始</button> <button class="first" type="capsule" onclick="recordstop">录音结束</button></div>
复制代码


(4)播放

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">    <text style="font-size: 30fp;">播放:</text></div>
<div class="container"> <button class="first" type="capsule" onclick="play">播放开始</button> <button class="first" type="capsule" onclick="playstop">播放结束</button></div>
<div class="container"> <video if="{{ display }}" id="{{ videoId }}" class="video" src="{{url}}" autoplay="{{ autoplay }}" controls="{{ controlShow }}" muted="false" onseeked="seeked" onprepared="prepared" > </video></div>
复制代码


2.逻辑代码在 JS 中:

(1)首先通过 AudioCapturer 接口获取到 PCM 数据,再通过调用 AudioCapturer 的 start 接口来启动录音流程。

globalThis.capturer.start().then(function () {    console.log("gyf start");    globalThis.capturer.getBufferSize((err, bufferSize) => {        if (err) {            console.error('gyf getBufferSize error');        } else {            console.log("gyf bufferSize = " + bufferSize);            globalThis.getBuf(bufferSize);        }    });});
复制代码


(2)启动成功以后,getBuf 会调用到 getData 函数,getData 函数通过 AudioCapturer 的 read 方法来读取数据,成功读取到数据以后,通过 handleBuffer 函数对数据进行处理。handleBuffer 函数的参数 arrayBuffer 就是通过 read 方法读取出来的 pcm 数据,在 handleBuffer 中对数据进行了快速播放或者慢速播放的处理。

//循环调用read,进行数据的读取handleBuffer(arrayBuffer) {    console.log("gyf handleBuffer");
let result = new Uint8Array(arrayBuffer); console.log("gyf handleBuffer ================== " + result);
let outData = this.test(result, up, down);
fileio.writeSync(globalThis.fd, outData.buffer);
globalThis.capturer.read(globalThis.bufSize, true).then(this.handleBuffer);},
getData(bufSize) { console.log("gyf getData"); globalThis.capturer.read(bufSize, true).then(this.handleBuffer);},
getBuf(bufSize) { console.log("gyf getBuf"); this.getData(bufSize);},
复制代码


(3)快速播放或者慢速播放是通过 up 和 down 两个方法的组合来实现的,down 方法的原理是对 PCM 数据进行插值处理,在相邻两点间插入 down 个采样点,up 方法的原理是间隔抽取,间隔 up 个点进行抽取采样。


up(data, up) {    if (1 == up) {        return data;    }    let length = data.byteLength;    let upLength = Math.round(length / up);    var upData = new Uint8Array(upLength);    for (var i = 0, j = 0; i < length; ) {        if (j >= upLength) {            break;        }        upData[j] = data[i];        i += up;        j++;    }    return upData;},
down(data, down) { if (1 == down) { return data; }
let length = data.byteLength; let downLength = Math.round(length * down); var downData = new Uint8Array(downLength); for (var i = 0, j = 0; i < length - 1; ) { for (var k = 0; k < down; k++) { downData[j] = data[i]; j++; } i++; } return downData;},

复制代码


(4)将 down 和 up 的方法组合调用,来实现 1.25 倍、1.5 倍、1.75 倍、2 倍、0.75 倍、0.5 倍的速度播放。

test(data, up, down) {    let downData = this.down(data, down);    let upData = this.up(downData, up);    return upData;},
复制代码


(5)播放 wav 格式的音频文件,采集获取 PCM 数据,需要我们根据设置的参数对 pcm 数据进行添加 wav 的头部信息,通过创建 AudioCapturer 实例的时候设置采集音频的参数,如采样率、通道数、采样格式等。

//音频采集初始化var audioStreamInfo = {    samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_8000,    channels: audio.AudioChannel.CHANNEL_1,    sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_U8,    encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW}
var audioCapturerInfo = { source: audio.SourceType.SOURCE_TYPE_MIC, capturerFlags: 1}
var audioCapturerOptions = { streamInfo: audioStreamInfo, capturerInfo: audioCapturerInfo}let that = this;
audio.createAudioCapturer(audioCapturerOptions,(err, data) => { if (err) { console.error(`gyf AudioCapturer Created : Error: ${err.message}`); } else { console.info('gyf AudioCapturer Created : Success : SUCCESS'); that.capturer = data; }});
复制代码


(6)根据这些参数设置的信息需要对 wav 文件写入文件头,头信息一般包含 44 个字节,里面需要设置三个 chunk 的信息(RIFF chunk、fmt chunk、data chunk),具体的信息可以查看官网的介绍 WAV 文件格式介绍:

http://www-mmsp.ece.mcgill.ca/Documents/AudioFormats/WAVE/WAVE.html


//假设数据为1000秒钟的时间(8000 * 1000)encodeWAV() {    var dataLen = 8000000;    var sampleRate = 8000;    var sampleBits = 8;    var buffer = new ArrayBuffer(44);    var data = new DataView(buffer);
var channelCount = 1; // 单声道 var offset = 0;
// 资源交换文件标识符 this.writeString(data, offset, 'RIFF'); offset += 4; // 下个地址开始到文件尾总字节数,即文件大小-8 data.setUint32(offset, 36 + dataLen, true); offset += 4; // WAV文件标志 this.writeString(data, offset, 'WAVE'); offset += 4; // 波形格式标志 this.writeString(data, offset, 'fmt '); offset += 4; // 过滤字节,一般为 0x10 = 16 data.setUint32(offset, 16, true); offset += 4; // 格式类别 (PCM形式采样数据) data.setUint16(offset, 1, true); offset += 2; // 通道数 data.setUint16(offset, channelCount, true); offset += 2; // 采样率,每秒样本数,表示每个通道的播放速度 data.setUint32(offset, sampleRate, true); offset += 4; // 波形数据传输率 (每秒平均字节数) 单声道×每秒数据位数×每样本数据位/8 data.setUint32(offset, channelCount * sampleRate * (sampleBits / 8), true); offset += 4; // 快数据调整数 采样一次占用字节数 单声道×每样本的数据位数/8 data.setUint16(offset, channelCount * (sampleBits / 8), true); offset += 2; // 每样本数据位数 data.setUint16(offset, sampleBits, true); offset += 2; // 数据标识符 this.writeString(data, offset, 'data'); offset += 4; // 采样数据总数,即数据总大小-44 data.setUint32(offset, dataLen, true); offset += 4;
return data;},

复制代码


总结

本文介绍了通过使用 OpenHarmony 音频模块的 AudioCapturer 接口实现录音功能。AudioCapturer 接口对于原始数据的处理非常灵活,能够对采集的数据进行插值/抽值的重采样处理,并将处理后的音频处理保存至本地文件。由于本地文件使用的是 WAV 格式,故在写数据前需要对 WAV 文件进行头部信息的添加,这些信息可以根据创建 AudioCapturer 时设置的参数来进行设置,以此保证头部信息的准确性,最后再通过应用层的 video 组件对音频数据进行播放。


希望这篇文章能为开发者提供一些新的思路,从而进行其他场景的拓展,例如将获取到采集的数据通过这种方式实现语音识别、语音转写等功能,在实践开发的过程中为 OpenHarmony 生态的发展贡献一份力量。


用户头像

OpenHarmony开发者官方账号 2021.12.15 加入

OpenHarmony是由开放原子开源基金会(OpenAtom Foundation)孵化及运营的开源项目,目标是面向全场景、全连接、全智能时代,基于开源的方式,搭建一个智能终端设备操作系统的框架和平台,促进万物互联产业的繁荣发展

评论

发布
暂无评论
如何通过OpenHarmony的音频模块实现录音变速功能?_OpenHarmony_OpenHarmony开发者社区_InfoQ写作社区