写点什么

语音信号处理 5:语音信号的感知

作者:轻口味
  • 2021 年 12 月 22 日
  • 本文字数:6219 字

    阅读完需:约 20 分钟

语音信号处理5:语音信号的感知

语音信号的感知过程与人耳的听觉系统密不可分。尽管 100 多年前,物理学家 Georg Ohm 就提出人耳是一种频谱分析仪的设想,但直到 20 世纪 60 年代,人们对外围的听觉系统才有一个较深入的了解,但对于听觉通路等许多方面的研究至今还在探讨阶段。


1. 听觉系统

1.1 耳的结构

耳是人类的听觉器官,其作用就是接收声音并将声音转换成神经刺激。所谓的语音感知,就是指将听到的声音经过大脑的处理后变成确切的含义。


人耳由外耳(outer ear)、中耳(middle ear)和内耳(inner ear)三部分组成,如下图所示。其中外耳、中耳、内耳的耳蜗部分是听觉器官。内耳的前庭窗和半规管部分是判定位置和进行平衡的器官。



图 人耳的构造


外耳由耳翼(pinna)、外耳道(external auditory meatus)和鼓膜(ear drum)构成。耳翼的作用是保护耳孔,其卷曲状具有定向作用。外耳道是一条比较均匀的耳管,声音沿外耳道传送至鼓膜,外耳道同其他管道一样也有许多共振频率。外耳道对声波的共振频率可以计算如下:共振峰频率=声音速度/声音的波长。外耳道的长度大约是 25mm,声波波长的长度是它的 4 倍,声速是 340m/s,因此外耳道共振峰频率=(1000×340)/(4×25)=3400Hz,即外耳道的共振峰频率大约是 3400Hz。由于外耳道的共振效应,会使声音得到 10dB 左右的放大。鼓膜是位于外耳道内端的韧性锥形结构,声音的振动通过鼓膜传到内耳。一般认为外耳在声音感知中有两个作用:一是对声源的定位;二是对声音的放大。对声音的放大除了外耳道的共振效应外,头的衍射效应也会增大鼓膜处的声压,总共可以使声音得到 20dB 左右的放大。外耳是将声音发送给内耳神经转换器的一系列机构中的第一个环节。中耳为充气腔体,由鼓膜将其与外耳隔离,并通过圆形窗和卵形窗两个小孔与内耳相通,中耳还通过咽鼓管与外界相连,以便使中耳和周围大气之间的气压得到平衡。鼓膜后面的一个小小的骨腔里有锤骨(malleus)、砧骨(anvil)和镫骨(stapes)三块听小骨组成。鼓膜通过听小骨将声音耦合至卵形窗。其中锤骨和鼓膜接触,镫骨和内耳的卵形窗相连,听骨链能把鼓膜受声波而产生的振动传到内耳,听骨链有交角杠杆的作用,在传导声波时能够增加振动的力量。根据力学计算,砧骨脚端的振动力量是锤骨柄部的 3/2,又因为鼓膜的面积比卵形窗大 20 倍左右,所以声波通过听骨链的传导,振动力量可以增加 30 倍左右。中耳鼓室和咽鼓管相连,咽鼓管能维持鼓膜内外大气压的平衡。在一定的声强范围内,听小骨实现声音的线性传递,而在特强声时,听小骨实现声音的非线性传递,以达到保护内耳的作用。因此,中耳的作用有两个:一个是通过听小骨进行声阻抗的变换,放大声压;另一个是保护内耳。内耳深埋在头骨中,由半规管(semicircular canal)、前庭窗(oval window)和耳蜗(cochlea)组成。其中前庭窗和半规管属于本体感受器,与机体的平衡机能有关。半规管是三个半环形小管,相互垂直,类似于一个三维坐标系统。它们分别称为上半规管、外半规管和后半规管,半规管内的感受器能感受旋转变速运动的刺激,而前庭窗内的感受器能感受静止的位置和直线的变速运动。内耳的耳蜗是听觉的受纳器,形似蜗牛壳,由蜗螺旋管旋转两圈半构成。耳蜗很小,蜗螺旋管总长只有 3cm。内耳的结构复杂,又称为迷路。以上三部分的外表由骨质形成,称为骨迷路;套在骨迷路内的膜性管称为膜迷路。骨迷路和膜迷路形态大致一样,关系就好像自行车车轮的外胎和内胎。膜迷路内有内淋巴液;膜迷路和骨迷路之间有外淋巴液。耳蜗里的膜迷路有感声的毛细胞,它可以把声音刺激变成神经冲动,经听神经传入大脑的听觉中枢完成语音的感知功能。耳蜗中有一个重要部分称为基底膜(basilar membrane),基底膜在靠近前庭窗的部分硬而窄,而在靠近耳蜗孔的部分软而宽。在基底膜之上是柯蒂氏器官(organ of corti),它相当于一种传感装置,耳蜗内的流体速度变化,可以影响柯蒂氏器官上的毛细胞膜两边电位的变化,在一定条件下造成听觉神经的发放和抑制,从而完成机械振动向神经发放信号转换的过程。

1.2 听觉的形成

声音的感受细胞在内耳的耳蜗部分,因此,外来的声波必须传到内耳才能引起听觉。外界的声波振动鼓膜,经过中耳的听小骨传到卵形窗,进而引起耳蜗的外淋巴和内淋巴的振动,这样的刺激使耳蜗中的听觉感受器的毛细胞兴奋,并将这种声音的刺激转化为神经冲动,由听神经传到大脑皮层的听觉中枢,形成听觉。声波的振动还可以通过颅骨和耳蜗骨壁的振动传到内耳,这个途径叫骨传递。由于听自己说话时包含了骨传递部分,因此与单纯的由鼓膜和听小骨传递的声音感觉会有所不同。

1.3 耳蜗的作用

声波引起外耳腔空气振动,由鼓膜经过三块听小骨传到内耳的前庭窗,镫骨的运动引起耳蜗内流体压强的变化,从而引起行波沿基底膜的传播。不同频率的声音产生不同的行波,其峰值出现在基底膜的不同位置上。频率较低时,基底膜的幅度峰值出现在靠近耳蜗孔处,随着声音频率的增加,该峰值向基底膜根部(靠近前庭窗的部分)移动。在每个声音频率上,随着强度的增加,基底膜运动的幅度加大,并带动更宽的部分振动。不同的声音频率沿着基底膜的分布是对数型的。基底膜的振动引起了基底膜和耳蜗覆膜之间的剪切运动,使得基底膜和耳蜗覆膜之间的毛细胞上的绒毛发生弯曲。绒毛向一个方向的弯曲会引起毛细胞的去极化(depolarization),即开启离子通道产生向内的离子流,从而增加传入神经(afferent nerve)的发放;当绒毛向另一个方向弯曲时,会引起毛细胞的超极化(hyp erpolarization),增加细胞膜电位,从而导致抑制效应。基底膜上不同部位的毛细胞具有不同的电学和力学特性。在耳蜗的根部,基底膜窄而劲度强,外毛细胞及其绒毛短而有劲度;而靠近蜗孔处,基底膜宽而柔和,毛细胞及其绒毛也较长而柔和。由于这种结构上的差别,使得它们具有不同的机械谐振性和电谐振性。这种差别是基底膜在频率选择方面不同的重要因素,也是声音频率沿基底膜呈对数分布的主要原因。

2. 听觉特性

正常人的听觉系统是极为灵敏的,人耳所能感觉的最低声压接近空气分子热运动产生的声压。一般来说,声音从右耳传至左大脑的速度比较快,声音从左耳传至右大脑的速度比较慢。即两耳传递速度不同。或者说,左大脑接收右耳传来的声音要快些,右大脑接收左耳传来的声音要慢些。至于接收语音的情况,两耳也有所不同,但它们辨听元音的能力大体一致。对于辅音,右耳比左耳强一些;听音调也是右耳较有优势。正常人可听声音的频率范围为 16Hz~16kHz,年轻人可听到 20kHz 的声音,而老年人可听到的高频声音要减少到 10kHz 左右。人类听觉器官对声波的音高、音强、声波的动态频谱具有分析感知能力。人耳对声音的强度和频率的主观感觉,是从响度及音调来体现的。

2.1 人耳的听阈及响度

语音信号就是一种复合音,它由包含了很多频率成分的谐波组成。对频率不同的纯音,人耳具有不同的听辨灵敏度。


响度就是反映一个人主观感觉不同频率成分的声音强弱的物理量,单位为方(phone)。在数值上 1 方等于 1kHz 的纯音的声强级,而零方对应人耳的听阈。所谓正常人的听阈是指声音小到人耳刚刚能听见时的大小。听阈值及响度的大小是随着频率的变化而变化的,例如在 1kHz 的纯音下,响度为 10 方时相当于 10dB 的声压级;而对于 100Hz 的纯音,为了使它听起来与 10 方的 1kHz 的纯音同样响,则声压级应该为 30dB。这说明人耳对不同频率的声音的响应是不平坦的。这样,人耳感知的声音响度是频率和声压级的函数,通过比较不同频率和幅度的语音可以得到主观等响度曲线,如下图所示。在该图中,最上面那根等响度曲线是痛阈,最下面那根等响度曲线是听阈。该曲线组在 3~4kHz 附近稍有下降,意味着感知灵敏度有提高,这是由于外耳道的共振引起的。


图 等响度曲线

2.2 音调

音调是听觉分辨声音高低时,用于描述这种感觉的一种特性。客观上用频率来表示音调,主观上感觉音调的单位是采用美(Mel)标度。这是两个概念上不同,却有联系的计量单位。一般对于频率低的声音,听起来觉得它的音调低,而频率高的声音,听起来感觉它的音调高。但是音调和频率并不是成正比的关系,它还与声音的强度及波形有关。一个高于听阈 40dB、频率为 1kHz 的纯音所产生的音调定为 1000Mel。如果一个纯音听起来比 1000Mel 的声音的音调高出一倍,则其音调为 2000Mel。如果用公式近似的表示音调和频率的关系,则有



3. 掩蔽效应

迄今为止,人耳听觉特性的研究大多在心理声学和语言声学领域内进行。实践证明,声音虽然客观存在,但是人的主观感觉(听觉)和客观实际(声波)并不完全一致,人耳听觉有其独有的特性。人的听觉系统具有复杂的功能,没有哪一种物理仪器具有人耳那样惊人的特性。听觉机构不但是一个极端灵敏的声音接收器,它还具有选择性,可以起到分析器的作用。此外,它还具有判别响度、音调和音色的本领。当然这些功能在一定程度上是与大脑的结合而产生的,因此听觉特性涉及心理声学和生理声学方面的问题。对于听觉系统的复杂结构与其信息处理过程,虽然现今的科学已经有所揭示,但对真正的实质问题还没完全掌握。

3.1 同时掩蔽和异时掩蔽

掩蔽现象是一种常见的心理声学现象,是由人耳对声音的频率分辨机制决定的。它指的是在一个较强的声音附近,相对较弱的声音将不被人耳觉察,即被强音所掩蔽。较强的音称为掩蔽者,弱音称为被掩蔽者。掩蔽效应分为同时掩蔽(simultaneous masking)和异时掩蔽(non-simultaneous masking)两类。


同时掩蔽指掩蔽现象发生在掩蔽者和被掩蔽者同时存在时,也称为频域掩蔽。声音能否被听到取决于它的频率和强度。正常人听觉的频率范围为 20Hz~20kHz,强度范围为-5~130dB。人耳不能听到听觉区域以外的声音。在听觉区域内,人耳对声音的响应随频率而变化,最敏感的频率段是 2~4kHz。在这个频率段以外,人耳的听觉灵敏度逐渐降低。人耳刚好可听到的最低声压级称为听阈,它是声音频率的函数,图 2-10 中虚线是人耳在安静时的听阈曲线。人耳不能听到声压级低于听阈的声音,例如,把一个纯音信号作为目标,如果它的声压级低于听阈(即安静时阈值),它是听不见的。


图 频率为 1kHz 声压级为 60dB 的音调信号的掩蔽阈值曲线


由于一个较强信号(掩蔽者)的存在,听力阈值不等于安静时的阈值。在掩蔽者频率的邻域内,听力阈值被提高。而新阈值,也就是不可闻的被掩蔽者的最大声压级,称为掩蔽阈值。上图中实线是频率为 1kHz、声压级为 60dB 的音调信号产生的掩蔽阈值曲线。当目标信号的声压级低于掩蔽者的掩蔽阈值时,目标信号被掩蔽,即不被人耳所察觉。利用人类听觉系统的这一特性,一方面可以把被掩蔽的弱信号看作与人耳无关的信号,不必对其进行编码处理;另一方面,在语音编码中,通过对量化噪声的频谱进行适当整形,使量化噪声低于掩蔽阈值曲线,在主观听觉上能够被音频信号所掩蔽,这样既降低了量化的码率,又提高了音频编码的主观质量。异时掩蔽的掩蔽效应发生在掩蔽者和被掩蔽者不同时存在时,也称为时域掩蔽。异时掩蔽又分为前掩蔽(pre-masking)和后掩蔽(post-masking)两种。若掩蔽效应发生在掩蔽者开始之前的某段时间,则称为前掩蔽;若掩蔽效应发生在掩蔽者结束之后的某段时间,则称为后掩蔽。下图给出了同时掩蔽和异时掩蔽现象。从图中得知,同时掩蔽在掩蔽者持续的时间内一直有效,它是一种较强的掩蔽效应,而异时掩蔽随着时间的推移很快衰减。一般后掩蔽可持续 100ms,而前掩蔽仅持续 20ms。


图 三种掩蔽现象的强度以及持续时间


利用前掩蔽效应,对抑制因时间分辨率不够而造成的预回声起着重要的作用。语音信号是分帧处理的,帧长的选择受一些因素制约,如过长的帧会使时间分辨率下降,产生严重的预回声。解决预回声的方法是缩短帧长,以提高时间分辨率,这样预回声的影响就被限制在一个较短的时间内。当帧长缩短到 2~5ms 时,由于前掩蔽效应,预回声会被随之而来的冲激响应所掩蔽。人类听觉系统的掩蔽效应需要用一个数学-心理声学模型来描述,依据该模型可估算出各掩蔽者的掩蔽阈值。掩蔽阈值取决于掩蔽者的音调性、频率、声压级和持续时间。图 2-12 描述了一个掩蔽者产生的掩蔽阈值曲线。从图中可以看出,掩蔽阈值是时间、频率和声压级的函数,并且掩蔽阈值随掩蔽音调的变化而有所变化。


图 掩蔽阈值曲线

3.2 各种不同的掩蔽效果

掩蔽者有三种类型:纯音调、宽带噪声和窄带噪声。不同的掩蔽者和被掩蔽者的组合有着不同的掩蔽结果,它们的掩蔽阈值曲线形状有着相似之处。

3.2.1 纯音调信号间的掩蔽

这是指掩蔽者和被掩蔽者都是纯音调信号,这种掩蔽效应比较简单。下图是频率为 1kHz 不同声压级的纯音调对纯音调产生的掩蔽曲线。从图中可以看出,掩蔽阈值曲线的低频段陡峭,高频段比较平坦。


图 频率为 1kHz 声压级不同的纯音调对纯音调的掩蔽阈值曲线

3.2.2 宽带噪声对纯音调的掩蔽

掩蔽者是宽带噪声,被掩蔽者是纯音调信号。虽然白噪声的功率谱是平坦的,但是它产生的掩蔽阈值却只在低频段保持水平。在大约 500Hz 以上,掩蔽阈值随着频率的增大而提高,每十倍频程大约提高 10dB。在低频段,掩蔽阈值一般高于噪声功率谱密度 17dB。宽带噪声对纯音调的掩蔽曲线如下图所示。


图 宽带噪声对纯音调的掩蔽阈值曲线

3.2.3 窄带噪声对纯音调的掩蔽

掩蔽者是窄带噪声,被掩蔽者是纯音调信号。这是一种比较复杂的掩蔽效应,掩蔽阈值随声压级的不同而有所变化,并且随着窄带噪声的中心频率的变化,掩蔽阈值也相应地随之变化。下面分别从这两个方面考虑窄带噪声对纯音调的掩蔽效果。下图是中心频率为 1kHz、声压级不同的窄带噪声对纯音调的掩蔽阈值曲线。从图中可以看出,曲线的峰值出现在掩蔽者的中心频率处,在声压级大于 80dB 时,掩蔽阈值曲线在高频段出现严重的非线性特性,有谷点出现。


图 中心频率为 1kHz、声压级不同的窄带噪声对纯音调的掩蔽曲线


中心频率不同的窄带噪声产生的掩蔽阈值曲线的形状是不同的,下图显示了声压级相同,但中心频率不同的窄带噪声对纯音调的掩蔽阈值曲线。从图中可以看出,掩蔽阈值曲线是不等宽的:在低频段,曲线比较窄,随着频率增高,曲线逐渐变宽。


图 声压级相同、中心频率不同的窄带噪声对纯音调的掩蔽阈值曲线


为了描写窄带噪声对纯音调信号的掩蔽效应,引入临界带宽的概念。一个纯音可以被以它为中心频率,且具有一定带宽的连续噪声所掩蔽,如果在这一频带内噪声功率等于该纯音的功率,这时该纯音处于刚好能被听到的临界状态,即称这一带宽为临界带宽。临界带宽有许多近似表示,一般在低于 500Hz 的频带内,临界带宽约为 100Hz;在高于 500Hz 时,临界带宽约为中心频率的 20%;最高可达到 4kHz。临界频带的位置不固定,以任何频率为中心都有一个临界频带。连续的临界频带序号记为临界频带率,或称为 Bark 域,这是为了纪念 Barkhauseu 而定名的。通常将 20Hz~16kHz 之间的频率用 24 个频率群来划分,或者说共有 24Bark,如下表所示。


表 临界带宽表


这种掩蔽效应可以从听觉生理上找到依据。人耳的基底膜具有与频谱分析仪相似的作用。频率群的划分相应地将基底膜分成许多小的部分,每一部分对应一个频率群。掩蔽效应就是在这些频率群内发生,这是因为对应的那一频率群的基底膜部分的声音,在大脑中似乎是叠加在一起来评价的,如果这时同时发声,可以互相掩蔽。划分后的 Bark 域与耳蜗中基底膜的长度呈线性关系,而与声音频率呈近似对数关系。除了按照上面的表划分 Bark 域外,也有一种简单的计算方法:



在 Bark 域上描述窄带信号对纯音调的掩蔽效应,声压级相同,但临界频带率不同的掩蔽阈值曲线如下图所示。从图中可以看出,掩蔽阈值曲线在 Bark 尺度上是等宽的。


图 声压级相同、临界频带率不同的窄带噪声对纯音调的掩蔽阈值曲线

发布于: 16 小时前阅读数: 7
用户头像

轻口味

关注

🏆2021年InfoQ写作平台-签约作者 🏆 2017.10.17 加入

Android、音视频、AI相关领域从业者。 邮箱:qingkouwei@gmail.com

评论

发布
暂无评论
语音信号处理5:语音信号的感知