哼唱的基频频率一般为80～1 600 Hz，基频是哼唱中的重要特征，基频的频率决定了哼唱的音高。当前通常采用谐波分析法提取哼唱基频^[7-10]，即通过找出部分谐波，再通过谐波频率推测基频频率，但是谐波频率并不一定恰好出现在基频的整数倍上，尤其体现在含谐波频率较多的哼唱低频部分^[7]，还容易将基频误判为实际值的一半或一倍。因此使用谐波分析的误差较大。本文对多种大量实际的哼唱音频进行采样分析，发现基频的峰值通常出现在振幅第一次达到最大振幅的1/10左右处。为了进一步得到更精确的基频，采用式(1)对得出的基频进行修正。这种利用最大振幅直接提取基频的方法明显克服了谐波分析方法的不足。

式中，$f'$是修正后的频率；$[{f_{1/10}}]$是第一次出现的不超过最大振幅1/10对应的频率值；$F_s$是离散数字哼唱音频对原始连续声音信号的采样率；$N$是离散数字哼唱音频信号的采样点数。

利用最大振幅直接提取基频的方法必须尽可能地降低噪声能量，突出基频峰峰值，并防止频谱泄漏。加窗傅里叶变化为此提供了一种解决方案，常用的窗函数有固定矩形(Rectangular)窗、汉宁(Hanning)窗、布莱克曼(Blackman)窗和海明(Hamming)窗^[7,11]。由于海明窗对音频频谱泄漏与噪声处理的效果最好^[12]，因此本文采用了海明窗函数减少噪声对音频数字信号基频提取的影响，表达式为：

图1显示了一段0.1 s、147 HZ的哼唱音频的幅频关系，以及其对应的$f'$和$[{f_{1/10}}]$。

图  1  0.1 s、147 HZ哼唱音频中的$f'$和$[{f_{1/10}}]$频率

由基频可以推算出音高，一般采用国际标准音高(standard pitch)度量，按照高度顺序分别为A、Bb、B、C、C#、D、Eb、E、F、F#、G、G#，越靠后表示半音高度越高。2个半音高度之间的频率关系为^[7]：

式中，f₁和f₂分别是2个音高对应的频率，且f₁比f₂低一个半音高度。这样就可以计算出所有频率和音高的对应关系。

整个哼唱的识别记谱，就是对音频信号进行合理切分、精确提取哼唱特征信息的过程。基本流程如图2所示。初始化参数后，通过分帧来获取基频-时间关系；通过构建可识别频率矩阵、节拍规律矩阵来实现对音符音长识别区域的切分；通过提出并实现基于加窗傅里叶变化迭代算法来对基频进行精确识别和对音符音长识别区域切分的修正；最后应用国际标准音高度量换算式(3)输出数字乐谱。

图  2  哼唱音频识别处理流程

按上述流程，对离散数字哼唱音频信号进行分帧，再逐帧进行哼唱基频提取，就可以得到频率-时间信息^[13]。由于在哼唱基频的范围内(80～1 600 Hz)，2个最低音频率E2(82.406 Hz)与F2(87.308 Hz)仅相差4.902 Hz，对于采样率为44.1 kHz的离散数字哼唱音频，帧长至少应为8 997个采样点以保证足够的分辨率。但由于人哼唱的音符音长最短为0.1 s，若取8 997个采样点作为帧长，则会严重丢失音符音长为0.1 s的唱音信息，故本文取5 000个采样点作为帧长，以提高获取频率-时间信息的分辨率。

获取频率-时间信息后，需要快速寻找音频的突变，从而实现对音符音长区域切分^[14]。在切分算法实现过程中，构建了频率矩阵F和节拍矩阵R。频率矩阵F用于记录唱音的出现频率和其连续出现的次数。

式中，${f_k}$是第k个连续出现最多次的唱音频率，简称第k个频率；${x_k}$是该唱音频率复现的帧数。矩阵R用于记录音长区域的切分值，即形成哼唱识别的节奏，表达如下：

式中，${r_k}$是第k个频率的唱音拍数。${x_{\min }}$是F矩阵中${x_k}$的最小值，k、n均为整数。

节奏是多个单音持续时间的关系，即音符音长关系，它是哼唱音符切分的重要依据，可认为是哼唱单音的持续时间。其值可由分帧时产生的帧长和帧移2个参数计算，通常两帧之间会有重叠部分。对一定帧数的时长计算有：

式中，T为时长；len为帧长；k为帧数；inc为帧移；F_s为采样率。为了准确提取哼唱节奏，本文取最短音符音长为一拍，并将所有节奏修正为一拍的整数或半整倍。修正公式为：

对音频信号的切分为：

式中，${{\rm {Len}}_k}$是第k个区域所含的音频信号采样点数；N为离散数字哼唱音频信号采样点的总数。有效哼唱音符音长区域切分算法如图3所示。

图  3  有效哼唱音符音长区域切分算法

虽然海明窗函数能够较好地处理音频频谱泄漏和噪声，由于人声哼唱音频普遍复杂，且受日常环境等多种因素影响，单一采样这种方法识别，往往出现漏、错、变调现象，难以达到更加精准地识别音符音长和音高。为此，本文在上述识别区域基础上，进一步改进算法，并统一进行了修正。

改进算法的基本原理是：假定一个唱音在已经切分区域内频率近似不变，通过不断迭代更改区域的大小，计算一个频率变化率$\Delta {f_k}$的最小点来确定哼唱基频，并以该点出现时的区域所含采样点个数来计算该音的音符音长。首先判断哼唱频率变化方向，确定边界改变的初始方向。选择或者定义一个可变识别区域${{\rm {Len}}_k}$，k值为[a,b]。向右扩大区域(增大b值)，令初始区域对应的基频为${f_0}$，向右扩展2次区域的基频对应值为${f_k}$、${f_{k + 1}}$。对这3个数据求出变化阻尼${P_{k + 1}}$，若${P_{k + 1}} < 0$，则应该沿增大b的方向继续迭代；若${P_{k + 1}} > 0$，则初始化b值后应该沿减小b的方向迭代。

定义基频变化率和变化阻尼分别为：

式中，$\Delta {f_k}$为第k次边界改变时对应的基频变化率；${f_k}$为第k次边界改变后区域对应的基频；${P_{k + 1}}$为第k+1次边界改变的阻尼大小。在迭代过程中，若${P_{k + 1}}$<0，则继续沿当前边界改变的方向迭代；若${P_{k + 1}}$>0，则停止当前边界改变，迭代结束。

算法流程见图4，具体步骤如下。

图  4  已切分音长可变区域的傅里叶精确识别迭代算法

1)取2.2节中描述的有效音符音长区域${{\rm {Len}}_k}$，定义[a,b]区间对应音频相应的振幅范围，a为振幅矩阵F中的一个起始序号，相当于一个起始采样点，b为振幅矩阵中一个终止的序号，由a、b的值决定所选择区域的长度。

2)逐次改变右边界，即b的值。在[a,b]区域内进行哼唱基频提取通过迭代判断频率的变化，计算频率变化最小值，记录对应的b值。

3)改变左边界，即a的值，同样进行哼唱基频提取并计算频率变化最小值对应的a值，迭代完毕后记录a、b的值，确定最终区域。

4)对最终区域[a,b]进行处理，对应的基频视为该音频率，根据式(6)计算其时长，记录为该哼唱的音符音长。

每处理完一个区域后，按照步骤1)～步骤4)进行下一个区域的精确识别，直到整个哼唱音频结束。通过变化阻尼${P_k}$判定频率变化方向后，再计算基频变化率$\Delta {f_k}$，这样可以显著减少整个哼唱音频的迭代计算次数，提高效率。

当精度在误差允许范围内，迭代步长应该尽量取长，但是这样会严重影响算法效率。对典型的人声哼唱曲调按照精确步长分别取5、10、15、20、25进行测试，输出不同的迭代终点对应区域基频的精度，发现迭代的步长将影响$\Delta {f_k}$和${P_{k + 1}}$的大小，迭代步长越大，$\Delta {f_k}$普遍越大，${P_{k + 1}}$普遍越小，到达迭代终点所需的迭代次数越少，由此所确定的区域对应基频的精确度越低。根据效率和精确度综合判断，在对大量音频进行分析后发现，当迭代步长增大到20时，偶尔会出现超过一个半音的误差，因此迭代步长应取15比较合适。

本文使用Python 3.6作为编程语言^[15]，应用Python提供的wave软件开发包，编程提取了哼唱录音成WAV文件格式音频信号，实现了对音频的通道数、量化位数、采样率(F_s)、采样点数(N)的矩阵计算与存储；采用了numpy软件开发包实现了快速傅里叶变换(FFT)^[16]及相应的矩阵换算。

根据10个以确定的谱曲，分别进行人声哼唱录音，录音设备为普通智能手机，录音地点为校园宿舍，10个哼唱音频数据见表1，其中包含2个低音音阶、2个高音音阶、2个短时随意哼唱、2个长时随意哼唱、2个合成声。

由于篇幅有限，本文以少音随意哼唱1为例展示实验运行结果，所有实验结果均由Python 3.6语言编程运行后获得。对少音随意哼唱1的信息首先进行离散傅里叶变化提取基频，然后采用5 000帧长对其进行分帧，对每帧进行快速傅里叶变换得到的基频，结果如图5所示。少音随意哼唱1分帧为38帧，由基频和每帧的对应关系，计算出矩阵F与矩阵R(见图6)，计算完成音符音长的切分。

对有效哼唱音符音长区域进行切分后，采用可变区域的加窗傅里叶精确识别迭代算法进一步进行最终时长划分，效果图见图7。按照音频识别流程(图2)和2.2、2.3节所述算法步骤运行，对表1中的录音音频依次处理，最后根据国际标准音高度量换算，输出结果如表2所示。

图  5  少音随意哼唱1每帧对应的基频

图  6  少音随意哼唱1音符音长区域切分F、R矩阵计算输出图

图  7  少音随意哼唱1最终时长划分实际效果图

考虑人声本身发音可能存在误差，输出的音高差距在一个半音内视为正确音，差距在一个半音以上视为错音。对原有10个曲谱的音符、音高、音长进行了对比，正确率达到84.3%。分析误差来源有：1) 随意哼唱的音符音长本来就不存在精确的节拍规律，本身存在1～2拍的误差；2) 由于录音设备和录音场地简陋，多音随意哼唱录音效果较差；3) 该算法只统计了有效哼唱音符音长区域，这是一个频率较为稳定的区域，而没有统计2个音之间频率变化的非稳定区域，可能出现遗漏。但该方法总体正确率高，达到满意结果，表明该算法具有一定的普适性，具有较好的应用价值。

在对人声哼唱特征进行分析的基础上，通过对大量离散数字哼唱音频进行分析，给出了以相对振幅为依据的直接提取基频方法，并提出了基频修正公式。结合哼唱特征和加窗傅里叶变换分帧处理技术，建立了频率矩阵和节拍矩阵，实现了有效哼唱音符音长区域切分。设计并实现了一种可变识别区域的精确识别迭代算法，通过引入频率变化率$\Delta {f_k}$和变化阻尼${P_k}$判定方法，显著减少整个哼唱音频的迭代次数，在Python 3.6编程环境下，经过反复测试与应用，对人声平常哼唱音高音长识别准确率达到了84.3%。