iOS MachineLearning 系列（13）—— 语音与音频相关的 AI 能力

作者：珲少

2023-05-08
上海
本文字数：6329 字
阅读完需：约 21 分钟

在语音分析方面，iOS 中提供了原生的 Speech 框架，这个框架可以实时的将语音解析成文本。这个能力非常强大，使用它我们可以实现类似实时翻译的功能。对于非语音的音频，也有一些原生的 AI 能力可以使用，例如分析语音的类型。SoundAnalysis 框架能够识别 300 多种声音，我们也可以使用自己训练的模型来处理定制化的音频识别需求。

1 - 进行语音识别

使用 Speech 框架来进行语音识别非常简单，并且其支持多种语言。使用此功能前，我们需要先请求用户授予权限。在 Info.plist 文件中新增如下 key:

NSSpeechRecognitionUsageDescription

复制代码

此 key 设置的值为字符串文案，会在使用 Speech 框架时弹窗展示。

需要注意，Speech 框架提供的并非是完全依赖本地的 AI 能力，其需要连接 Apple 的服务器来实现功能，因此在使用时要确保网络的正常。

首先需要定义个识别器对象，如下：

let recognizer = SFSpeechRecognizer(locale: Locale(identifier: "zh-Hants"))

复制代码

其中 locale 参数设置所识别为的语言。

之后需要创建一个语音识别请求，并发起识别任务，如下：

// 这里使用本地的语音文件let path = Bundle.main.path(forResource: "12168", ofType: ".wav")let url = URL(fileURLWithPath: path!)// 创建请求对象let request = SFSpeechURLRecognitionRequest(url: url)
let label = UILabel(frame: CGRect(x: 0, y: 100, width: view.frame.width, height: 400))label.numberOfLines = 0view.addSubview(label)// 发起请求任务recognizer?.recognitionTask(with: request, resultHandler: { result, error in    print(result?.bestTranscription.formattedString, error)    label.text = result?.bestTranscription.formattedString})

复制代码

运行上面的代码，如果提供的音频文件是正常的语音文件，即可看到识别效果。上面的结果回调会根据音频的长度来多次回调，每次都会根据上下文进行之前识别结果的矫正。

Speech 框架不仅支持语音文件的识别，也支持实时进行语音数据流的识别。只需要创建不同的 Request 类即可。我们可以先来看下语音分析请求的父类 SFSpeechRecognitionRequest：

open class SFSpeechRecognitionRequest : NSObject {    // 设置语音识别的类型    open var taskHint: SFSpeechRecognitionTaskHint    // 设置是否在解析过程中返回中间值，默认true，如果设置false则只有当整个语音文件解析完成再返回结果    open var shouldReportPartialResults: Bool    // 设置一组自定义的短语，这些短语可能不在词汇表中，针对场景的加强识别的准确性    open var contextualStrings: [String]    // 是否进行纯本地的解析，这种场景下不会发送语音到apple服务器，但是会降低准确性，某些语言不可用    open var requiresOnDeviceRecognition: Bool    // 设置识别结果中是否增加标点，iOS16之后可用    open var addsPunctuation: Bool}

复制代码

其中 taskHint 属性用来设置识别类型，此枚举定义如下：

public enum SFSpeechRecognitionTaskHint : Int, @unchecked Sendable {    case unspecified = 0 // 未指定明确类型    case dictation = 1 // 一般的听写风格    case search = 2 // 搜索请求风格    case confirmation = 3 // 短语}

复制代码

要对语音文件进行分析，使用 SFSpeechURLRecognitionRequest 子类，如果要实时识别语音流，则使用 SFSpeechAudioBufferRecognitionRequest 子类即可，SFSpeechAudioBufferRecognitionRequest 定义如下：

open class SFSpeechAudioBufferRecognitionRequest : SFSpeechRecognitionRequest {    // 利于识别的音频格式    open var nativeAudioFormat: AVAudioFormat { get }    // 添加AVAudioPCMBuffer数据    open func append(_ audioPCMBuffer: AVAudioPCMBuffer)    // 添加CMSampleBuffer数据    open func appendAudioSampleBuffer(_ sampleBuffer: CMSampleBuffer)    // 调用此方法标识语音流数据添加完成    open func endAudio()}

复制代码

SFSpeechRecognizer 类用来发起语音识别请求，定义如下：

open class SFSpeechRecognizer : NSObject {    // 所支持的语言    open class func supportedLocales() -> Set<Locale>    // 用户授权状态    open class func authorizationStatus() -> SFSpeechRecognizerAuthorizationStatus    // 请求用户授权    open class func requestAuthorization(_ handler: @escaping (SFSpeechRecognizerAuthorizationStatus) -> Void)    // 构造方法，使用当前系统语言    public convenience init?()    // 构造方法，设置语言    public init?(locale: Locale)    // 功能是否可用    open var isAvailable: Bool { get }    // 使用的语言    open var locale: Locale { get }    // 获取是否支持纯本地的请求    open var supportsOnDeviceRecognition: Bool    // 代理    weak open var delegate: SFSpeechRecognizerDelegate?    // 设置发起请求默认的类型    open var defaultTaskHint: SFSpeechRecognitionTaskHint    // 发起请求任务    open func recognitionTask(with request: SFSpeechRecognitionRequest, resultHandler: @escaping (SFSpeechRecognitionResult?, Error?) -> Void) -> SFSpeechRecognitionTask    open func recognitionTask(with request: SFSpeechRecognitionRequest, delegate: SFSpeechRecognitionTaskDelegate) -> SFSpeechRecognitionTask    // 回调所使用的队列    open var queue: OperationQueue}
// SFSpeechRecognizerDelegate协议public protocol SFSpeechRecognizerDelegate : NSObjectProtocol {    // 可用性变化时回调    optional func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool)}

复制代码

如果使用闭包的方式来发起请求，则结果会在闭包回调中给到，如果采用代理的方式，则会通过代理回调返回。SFSpeechRecognitionTaskDelegate 协议如下：

public protocol SFSpeechRecognitionTaskDelegate : NSObjectProtocol {    // 首次检测到语音时调用    optional func speechRecognitionDidDetectSpeech(_ task: SFSpeechRecognitionTask)    // 每次有中间结果时调用    optional func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didHypothesizeTranscription transcription: SFTranscription)    // 最终识别完成时调用    optional func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishRecognition recognitionResult: SFSpeechRecognitionResult)    // 识别任务结束后调用    optional func speechRecognitionTaskFinishedReadingAudio(_ task: SFSpeechRecognitionTask)    // 识别任务取消时调用    optional func speechRecognitionTaskWasCancelled(_ task: SFSpeechRecognitionTask)    // 识别任务完整成功后调用    optional func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishSuccessfully successfully: Bool)}

复制代码

其中 SFTranscription 类用来描述识别中间结果，如下：

open class SFTranscription : NSObject, NSCopying, NSSecureCoding {    // 格式化后的字符串    open var formattedString: String { get }    // 片段数组    open var segments: [SFTranscriptionSegment] { get }    // 语音速度，每秒单词数    open var speakingRate: Double { get }    // 单词间的平均停顿    open var averagePauseDuration: TimeInterval { get }}

复制代码

其中 SFTranscriptionSegment 是具体的词组，里面封装了更多详细的信息：

open class SFTranscriptionSegment : NSObject, NSCopying, NSSecureCoding {    // 词组    open var substring: String { get }    // 在原字符串中的位置    open var substringRange: NSRange { get }    // 在原音频中的时间点    open var timestamp: TimeInterval { get }    // 在音频中的时长    open var duration: TimeInterval { get }    // 测量的可信度，0到1，越大表示越可信    open var confidence: Float { get }    // 对此音频片段的更多可能结果    open var alternativeSubstrings: [String] { get }    // 发声特性对象    open var voiceAnalytics: SFVoiceAnalytics? { get }}

复制代码

SFSpeechRecognitionResult 类描述了分析的结果，实际上是一组 SFTranscription 的聚合。定义如下：

open class SFSpeechRecognitionResult : NSObject, NSCopying, NSSecureCoding {    // 最完美的结果片段（如果分析结果，此为完整的）    @NSCopying open var bestTranscription: SFTranscription { get }    // 所有分析结果（根据可信度来排序）    open var transcriptions: [SFTranscription] { get }    // 是否分析结束    open var isFinal: Bool { get }    // 音频元数据信息    open var speechRecognitionMetadata: SFSpeechRecognitionMetadata? { get }}

复制代码

SFSpeechRecognitionMetadata 中封装了语音的基础数据：

open class SFSpeechRecognitionMetadata : NSObject, NSCopying, NSSecureCoding {    // 语音速度，每分钟单词数    open var speakingRate: Double { get }    // 平均语速，每个单词平均秒数    open var averagePauseDuration: TimeInterval { get }    // 语音在音频中的开始时间    open var speechStartTimestamp: TimeInterval { get }    // 语音的持续时间    open var speechDuration: TimeInterval { get }    // 音频分析数据    open var voiceAnalytics: SFVoiceAnalytics? { get }}
open class SFVoiceAnalytics : NSObject, NSCopying, NSSecureCoding {    // 人声稳定性    @NSCopying open var jitter: SFAcousticFeature { get }    @NSCopying open var shimmer: SFAcousticFeature { get }    // 人声高低    @NSCopying open var pitch: SFAcousticFeature { get }    // 语音概率    @NSCopying open var voicing: SFAcousticFeature { get }}

复制代码

发起语音请求后，会返回一个 SFSpeechRecognitionTask 对象，此任务对象可以对当次分析过程进行控制，如下：

open class SFSpeechRecognitionTask : NSObject {    // 当前任务状态    open var state: SFSpeechRecognitionTaskState { get }    // 是否完成    open var isFinishing: Bool { get }    // 手动完成任务    open func finish()    // 是否取消    open var isCancelled: Bool { get }    // 手动取消任务    open func cancel()    // 异常数据    open var error: Error? { get }}
// 任务状态枚举定义如下public enum SFSpeechRecognitionTaskState : Int, @unchecked Sendable {    case starting = 0 // 开始    case running = 1  // 运行中    case finishing = 2 // 结束    case canceling = 3 // 取消    case completed = 4 //完成}

复制代码

2 - 音频类别识别

iOS 内置 API 的音频分析能力可以方便的对音频进行分类，例如人声，乐器声等等。内置的 SoundAnalysis 框架能够分析识别 300 余种音效，当然其也支持使用自定义的模型来进行分析，本篇文章将只涉及到 API 的使用。

SNAudioFileAnalyzer 类是音频分析的处理类，例如：

let analyzer = try! SNAudioFileAnalyzer(url: URL(fileURLWithPath: Bundle.main.path(forResource: "12168", ofType: ".wav")!))

复制代码

SNAudioFileAnalyzer 在实例化时会包装一个音频文件地址，后续将对此音频进行分析。首先需要创建一个分析请求，如下：

let request = try! SNClassifySoundRequest(classifierIdentifier: .version1)

复制代码

其参数设置使用的算法版本。

通过如下方法来向 SNAudioFileAnalyzer 实例中添加一个请求，并设置请求过程的监听：

try! analyzer.add(request, withObserver: self)

复制代码

之后调用 analyze 方法来触发请求的执行：

analyzer.analyze()

复制代码

对请求过程的监听对象需要实现 SNResultsObserving 协议，如下：

public protocol SNResultsObserving : NSObjectProtocol {    // 分析到请求结果时调用的回调，一段音频分析中会持续调用    func request(_ request: SNRequest, didProduce result: SNResult)    // 请求失败    optional func request(_ request: SNRequest, didFailWithError error: Error)    // 请求完成    optional func requestDidComplete(_ request: SNRequest)}

复制代码

请求的结果数据为 SNResult，这个是基础协议，真正将返回的对象是 SNClassificationResult 类型的，定义如下：

open class SNClassificationResult : NSObject, SNResult {    // 分析出的类别    open var classifications: [SNClassification] { get }    // 在音频中的时间范围    open var timeRange: CMTimeRange { get }    // 返回指定标识符的类别    open func classification(forIdentifier identifier: String) -> SNClassification?}
open class SNClassification : NSObject {    // 当前类别的标识符    open var identifier: String { get }    // 可信度    open var confidence: Double { get }}

复制代码

SoundAnalysis 框架本身比较简单，我们再来看下分析请求类，SNRequest 是请求类的基类，为了便于后续 framework 的升级，我们使用 SNClassifySoundRequest 类创建请求：

open class SNClassifySoundRequest : NSObject, SNRequest {    // 模型对固定大小的音频块进行分析时的重叠量，影响分析准确性    open var overlapFactor: Double    // 缓冲窗口的持续时间    open var windowDuration: CMTime    // 设置一组类别，分析结果将从此组中选择    open var knownClassifications: [String] { get }    // 使用自定义的模型进行分析    public init(mlModel: MLModel)    // 使用内置模型进行分析    public init(classifierIdentifier: SNClassifierIdentifier)}

复制代码

最后 Analyzer 相关的类主要用来对请求进行控制，并决定要分析的音频。SoundAnalysis 框架支持直接对音频文件进行分析，也支持对音频数据流进行分析，使用的类如下：

// 分析音频文件open class SNAudioFileAnalyzer : NSObject {    // 构造方法    public init(url: URL) throws    // 添加一个请求和对应的监听实例    open func add(_ request: SNRequest, withObserver observer: SNResultsObserving) throws    // 移除一个请求    open func remove(_ request: SNRequest)    // 移除所有请求    open func removeAllRequests()    // 开启同步分析（会阻塞线程）    open func analyze()    // 异步进行分析    open func analyze(completionHandler: @escaping (Bool) -> Void)    // 异步分析    open func analyze() async -> Bool    // 取消分析任务    open func cancelAnalysis()}
// 分析音频流open class SNAudioStreamAnalyzer : NSObject {    // 构造方法    public init(format: AVAudioFormat)    open func add(_ request: SNRequest, withObserver observer: SNResultsObserving) throws    // 请求控制方法    open func remove(_ request: SNRequest)    open func removeAllRequests()    // 对数据流做分析    open func analyze(_ audioBuffer: AVAudioBuffer, atAudioFramePosition audioFramePosition: AVAudioFramePosition)    // 完成数据流分析    open func completeAnalysis()}