写点什么

音频变速变调原理及 soundtouch 代码分析

用户头像
dragn drivor
关注
发布于: 15 小时前

概述

音频变速变调在不同的场景可以分为变速不变调、变调不变速以及变调又变速 3 种应用。语音变速是指把一个语音在时域上拉长或则缩短,而语音的采样率、基频以及共振峰都没有发生变化。语音变调是指把语音的基因频率降低或升高,共振峰做出相应的的改变,采样频率不变。简单介绍下音频变速变调的应用场景。

1) 变速不变调:各种各样的视频播放器中的 2 倍速,0.5 倍速播放就是应用的语音变速不变调原理;当然变速不变调还应用于网络电话 VOIP 中的应对网络抖动,简单的说,就是当网络不好的时候,播放端从网络中拉取到的数据少,缓存区的数据不够用,这个时候就使用缓存的数据播放的慢一点。反之,缓存区数据过多,就播放的快一点。这部分的实现可以参照 webrtc 的 netEQ 模块。平时在使用微信语音的时候应该能感受到网络特别卡时,为了保持语音连续,会故意慢放语音。

2)变调不变速:变调不变速主要应用在声效上,声音提高音调将男声变成女生,或则将女生变成男声;另外,变速不变调配合其他一些音效算法,如 EQ,混响,tremolo 和 vibrato 可以实现变声效果,比如 QQ 上的萝莉音,大叔音等。

音频变速变调在各种音频编辑器如 cooledit,audition,audacity 上都有实现,常用的开源代码是 soundtouch,另外还有一个开源代码为 sonic,都可在 github 上找到。


音频变速原理

音频变速不变调的经典文章为<<A Review of Time-Scale Modification of Music Signals>>,其中

介绍了很多种变速不变调算法的实现。

TSM(Time-Scale Modifacaiton)

变速不变调的经典算法为 TSM(Time-Scale Modifacaiton),还有一些语音合成的方法来实现变速,通过提取音频的基音信息和声道的激励模型来实现。我们重点介绍 TSM 方法

TSM 方法的原理很简单。熟悉音频处理的朋友都知道,音频信号为了保证前后帧处理特征的平滑性,会在帧与帧之间设置一个重叠(overlap),因此就出现了分帧(analysis fames)和合帧(synthesis frames), 一般设置重叠为 50%。如果分帧(analysis fames)以 50%的 overlap,而合帧(synthesis frames)时以 75%,那么就实现了慢放。

TSM 算法的步骤为


  • step1: 原始信号分帧


  • step2:分解好的帧重新定位

  • step3: 合成最终的帧


 Hs 和 Ha 分别代码分帧和合帧的 overlap。Rate = Hs/ Ha,如果 Ha=Hs,则原速;Hs<Ha 时,加速;Hs>Ha 时,减速。


OLA(Overlap-and-Add)

OLA(Overlap-and-Add, OLA)重叠相加算是音频变速算法中最简单的时域方法,它是后续时域算法(SOLA, SOLA-FS, TD-PSOLA, WSOLA)的基础。  

下图演示语音被加速播放的情况

图中 x 和 y 分别表示处理前后的语音信息。变速的关键在 c 图和 d 图,能够看到 OLA 直接暴力的将 x(m+1)的波形拷贝到 y(m+1)处,并与 y(m)进行叠加。此时语音省略掉了 x(m)和 x(m+1)之间的信息,实现了快放。这个算法最简单,但是缺点也很明显,就是没有考虑到 x(m+1)和 y(m)之间的连续性,换句话说,没有考虑到不加速播放时本来该播放的语音 y'(m+1)和拷贝过来的 y(m+1)之间的相似性。因此会造成下图这样的后果,造成相位不连续,相邻帧重叠区域产生基频失真。

出现了基频断裂的问题,当然是要去解决了,因此出现了改进版的 SOLA 算法和 WSOLA 算法。y'(m+1)和 y(m)是连续的,只需找到一帧 y(m+1)最相似 y'(m+1),用它来替换 y'(m+1),那么语音就会很自然。SOLA 算法和 WSOLA 算法都是这个原理。不同的是 SOLA 算法是固定 y(m+1),去寻找 y'(m+1)与 y(m+1)最相似。WSOLA 则是固定 y'(m+1),寻找 y(m+1)与 y'(m+1)最相似。由于 soundtouch 中使用的是 WSOLA 算法,主要研究 WSOLA 算法,关于 SOLA 算法的具体处理可以看上面的那篇论文


WSOLA(Waveform Similarity Overlap-Add)

下图是 WSOLA 的实现步骤


a 图中的实现还是和 OLA 一样的,OLA 寻找找的替换帧为 x(m+1)。在 b 图中有一个 Delta(max),会在 Delta(max)这个窗口内寻找与替换帧最相似的那一帧 x'(m+1),这个就是 WSOLA 算法的原理。如何来定义相似呢,常用的方法有:

1)相关法(寻找相关峰,soundtouch 使用方法)

2)AMDF(sonic 使用的方法)

音频变速还有其他方法:PV-TSM 等,


音频变调不变速原理

最常见的音频变调就是使用重采样了,如果将一个 8Khz 的语音使用 16K 采样率播放,那么能明显感受到音调升高,但是语速也提高了 2 倍。因此,音频变调不变速就是首先使用重采样算法进行采样,然后使用变速不变调算法纠正速度。重采样其实就是对数据一个抽取或则内插的过程,常使用的方法是线性插值重采样的方法。


soundtouch 的原理

 SoundTouch 是实现音频变速变调的开源代码。其中音频变调使用的是升降采样的方法,变速则是使用的是 wsola 算法。SoundTouch 的源代码目录结构清晰简单,在开源代码中有 vs 工程文件,soundtouch 的主要代码文件如下:

SoundTouch 中设置变速变调的范围,在其使用手册中各个范围为:

" -tempo=n : Change sound tempo by n percents (n=-95..+5000 %)\n" 变速不变调

" -pitch=n : Change sound pitch by n semitones (n=-60..+60 semitones)\n" 变调不变速

" -rate=n : Change sound rate by n percents (n=-95..+5000 %)\n" 变调变速

SoundTouch 的主要 API 是定义在 SoundTouch 类中的,SoundTouch 包含了主要的数据处理类 RateTransposer 和 TDStretch,SoundTouch 只负责数据之间的传递,和关键参数的控制。RateTransposer 实现语音的变速变调,TDStretch 实现变速不变调。SoundTouch 继承自 FIFOProcessor,在 rate<=1 的情况下会设置 TDStretch 为输出,在 rate>1 的情况下设置 RateTransposer 为输出。


变速不变调 TDStretch

变速不变调通过 wsola 实现,类中主要成员为:


class TDStretch : public FIFOProcessor{  protected:  int channels;  int sampleReq; //变速不变调 需要缓存的数据  int overlapLength; //wsola涉及的overlap  int seekLength; //在seekLength的长度里寻找与pMidBuffer相关值最大的offset  int seekWindowLength; //一帧数据的长度+overlap的长度  int sampleRate;  int sequenceMs; //默认40ms  int seekWindowMs; //默认15ms  int overlapMs;  //默认8ms 根据ms去计算length
float maxnormf;
double tempo; double skipFract; //变速需要跳过的步长
SAMPLETYPE *pMidBuffer; //缓存中间的数据,用于计算相关性 数据长度为overlap
FIFOSampleBuffer outputBuffer; FIFOSampleBuffer inputBuffer;}
复制代码


overlapLength、seekLength、seekWindowLength 见下图。

以 tempo=2 overlapLength=128 seekLength = 240 seekWindowLength=640 为例。soundtouch 的处理流程为:

首先处理第一帧:

  1. 拷贝输入数据 inputBuffer 中 seekWindowLength-2*overlapLength = 384 的数据到 outputBuffer 中

  2. 拷贝 inputBuffer 从 384 起的 overlapLength=128 数据到 pMidBuffer 中

  3. inputBuffer 的数据跳跃到 skipFract = 648 的位置

其中 skipFract += nominalSkip

nominalSkip = tempo * (seekWindowLength - overlapLength);

  1. 计算 inputBuffer 中 648 位置起的 seekLength 个数据 与 pMidBuffer 的相关性 选取相关性最大的 offset 这里 offset = 119

  2. 将 648 + offset 起的 128 个数据与 pMindbuffer 中的 128 个数据叠加输出到 outputBuffer 中

  3. 拷贝 inputBuffer 648 + offset +128 位置起的 seekWindowLength-2*overlapLength = 384 的数据到 outputBuffer 中

  4. go on


具体实现为:


void TDStretch::processSamples(){int ovlSkip;int offset = 0;int temp;while ((int)inputBuffer.numSamples() >= sampleReq)  //缓存数据sampleReq{    if (isBeginning == false)    {        offset = seekBestOverlapPosition(inputBuffer.ptrBegin()); //寻找相关性最大的位置
overlap(outputBuffer.ptrEnd((uint)overlapLength), inputBuffer.ptrBegin(), (uint)offset); //overlap outputBuffer.putSamples((uint)overlapLength); offset += overlapLength; } else { isBeginning = false; int skip = (int)(tempo * overlapLength + 0.5 * seekLength + 0.5);
#ifdef ST_SIMD_AVOID_UNALIGNED // in SIMD mode, round the skip amount to value corresponding to aligned memory address if (channels == 1) { skip &= -4; } else if (channels == 2) { skip &= -2; } #endif skipFract -= skip; assert(nominalSkip >= -skipFract); }

if ((int)inputBuffer.numSamples() < (offset + seekWindowLength - overlapLength)) { continue; // just in case, shouldn't really happen }
// length of sequence temp = (seekWindowLength - 2 * overlapLength); outputBuffer.putSamples(inputBuffer.ptrBegin() + channels * offset, (uint)temp); assert((offset + temp + overlapLength) <= (int)inputBuffer.numSamples()); memcpy(pMidBuffer, inputBuffer.ptrBegin() + channels * (offset + temp), channels * sizeof(SAMPLETYPE) * overlapLength);. skipFract += nominalSkip; // real skip size ovlSkip = (int)skipFract; // rounded to integer skip skipFract -= ovlSkip; // maintain the fraction part, i.e. real vs. integer skip inputBuffer.receiveSamples((uint)ovlSkip); //跳过数据 和tempo相关 实现变速的关键}}
复制代码


变速变调 RateTranposer 类

RateTransPoser 其实就是通过升降采样来实现语音的变速变调的。类具体实现如下:

class RateTransposer :   public FIFOProcessor{  protected:    /// Anti-alias filter object  AAFilter *pAAFilter; //抗混叠滤波器  TransposerBase *pTransposer; //提供实现变速变调的算法  FIFOSampleBuffer inputBuffer;
/// Buffer for keeping samples between transposing & anti-alias filter FIFOSampleBuffer midBuffer;
/// Output sample buffer FIFOSampleBuffer outputBuffer;
bool bUseAAFilter;
void processSamples(const SAMPLETYPE *src, uint numSamples);}
复制代码

其中核心函数 processSamples


void RateTransposer::processSamples(const SAMPLETYPE *src, uint nSamples){  uint count;  if (nSamples == 0) return;  // 接受数据  inputBuffer.putSamples(src, nSamples);  // 数据处理  if (bUseAAFilter == false)  {  count = pTransposer->transpose(outputBuffer, inputBuffer);  return;  }  assert(pAAFilter);  if (pTransposer->rate < 1.0f)   {      // 实现升降采样      pTransposer->transpose(midBuffer, inputBuffer);         // AAFilter滤波      pAAFilter->evaluate(outputBuffer, midBuffer);  }   else    {      pAAFilter->evaluate(midBuffer, inputBuffer);      pTransposer->transpose(outputBuffer, midBuffer);  }}
复制代码

TransposerBase 类其实为一个工厂方法,其中涉及了 3 种升降采样方法,其实也就是插值方法。分别为:

插值算法原理待补充。


soundtouch 需要注意的点:

其中数据缓存和每次跳跃的大小为:

nominalSkip = tempo * (seekWindowLength - overlapLength);

sampleReq = max(intskip + overlapLength, seekWindowLength) + seekLength;

变速不变调中计算相关性根据不同的平台可以使用 TDStretchSSE 或 TDStretchMMX。

TDStreach 的实现来看,其具有较大的算法延迟。要实时实现减小延迟,可考虑减小 sequenceMs 的大小以及缓存数据来处理。


最后

简要的分析了一下 soundtouch 的实现,关于 soundtouch 的数据输入输出 FIFOProcessor 等类没有详细的介绍。后面会分析下 sonic 算法原理的实现。A Review of Time-Scale Modification of Music Signals 这篇经典文章的地址为:https://www.mdpi.com/2076-3417/6/2/57。文章中有什么不对的地方,希望大家一起讨论。


参考

A Review of Time-Scale Modification of Music Signals:https://www.mdpi.com/2076-3417/6/2/57

知乎变声导论:https://zhuanlan.zhihu.com/p/110278983

论文:基于 WSOLA 算法的语音时长调整研究

论文:AN OVERLAP-ADD TECHNIQUE BASED ON WAVEFORM SIMILARITY (WSOLA) FOR HIGH QUALITY TIME-SCALE MODIFICATION OF SPEECH

soundtouch 官网:http://www.surina.net/soundtouch/

发布于: 15 小时前阅读数: 20
用户头像

dragn drivor

关注

夷以近,游者重;险以远,则至者少 2021.04.24 加入

音频

评论

发布
暂无评论
音频变速变调原理及soundtouch代码分析