语音情感识别是从说话人的语音中识别出喜、 怒、 哀、 乐、 愁等各类情感的一种技术。 作为情感计算的一个重要分支，语音情感识别具有广泛的应用前景^[1]。 在医疗卫生领域，通过对病人情感的检测来帮助医生更好地判断心理疾病； 在刑侦领域，通过对嫌疑人的情感实时监控，可以加快案件的审理进程； 在极端环境下如载人航天领域，通过对密闭空间中航天员的情感状态进行实时监测，可以推动航天科考事业的顺利开展。

过去几十年中，语音情感识别研究取得了很大进展。 许多传统的模式识别方法如支持向量机(support vector machine,SVM)、 隐Markov模型(hidden Markov model,HMM)、 Gauss混合模型(Gaussian mixture model,GMM)、 人工神经网络(artificial neural network,ANN)等被广泛应用于语音情感识别^[2]。 近几年，深度学习在语音识别及图像分类等领域取得了巨大的成功，文^[3]尝试将深度学习方法用于语音情感识别，这些方法都在一定程度上取得了令人满意的效果。

上述方法主要是针对单一数据库进行训练和测试，过于追求较高的情感识别率，而在实际情况中，训练和测试数据往往来自不同的数据库，这时识别率将显著下降。 目前国内外对于跨库语音情感识别的研究还不是很多，如Schuller等^[4]从唤醒度和效价维的角度对6个数据库条件下的跨库语音情感识别进行研究； Jeon等^[5]对跨语言的语音情感识别进行了初步的讨论； Deng等^[6]提出了一种基于无监督自适应编码的语音情感识别方法； 受到说话人识别中信道鲁棒性的启发，文^[7]从混合因子分析的角度对跨库条件下的语音情感识别进行讨论，这些方法在一定程度上取得了比传统方法更好的效果。 但是这些方法存在着训练数据过大、 计算复杂度高、 当训练和测试数据库差别很大时识别率显著下降等问题。

不同于上述方法，受到迁移学习和半监督学习等方法等在机器学习、 模式识别上成功应用的启发，本文提出一种有效的基于特征迁移学习的语音情感识别方法。 首先，通过特征迁移学习得到源语音库和目标语音库的低维邻近特征空间； 其次，为了进一步提升分类效果，采用半监督判别分析(semi-supervised discriminant analysis,SDA)方法对特征进行降维，进而训练得到情感分类器； 最后，在经典语音情感数据库上对本文提出方法的有效性进行验证。

1 基于特征迁移学习的语音情感识别

图 1为本文提出的基于特征迁移学习的语音情感识别框架。 给定有标签的源语音情感数据库和无标签的目标语音情感数据库，分别提取其情感特征，通过最大均值差异嵌入(maximum mean discrepancy embedding，MMDE)算法和特征降维算法寻找到邻近的低维特征空间，并进一步通过SDA方法进行特征降维来提升分类效果，最后训练得到情感分类器。

1.1 情感特征迁移学习

迁移学习是机器学习领域近年来一个比较热门的研究领域，主要通过迁移当前领域已有知识来解决目标领域中数据仅有少量标签甚至没有标签的学习问题^[8]，在很多应用领域得到了广泛的研究如文本分类与聚类、 图像分类、 传感器定位、 协同过滤等。

受到迁移学习在这些领域成功应用的启发，本文提出了一种基于特征迁移学习的语音情感识别方法。 给定有类别标签的源语音库和无类别标签的目标语音库，分别提取其情感特征，表示为X_s=[x₁,x₂,...,x_nl]和X_t=[x₁,x₂,...,x_nu]，其中n_l、 n_u为特征数量。 假定它们之间存在着邻近的低维空间，引入映射函数φ(·)，计算得到X_s和X_t的低维空间，分别表示为${{X'}_S} = \varphi \left( {{X_s}} \right)$和${{X'}_t} = \varphi \left( {{X_t}} \right)$。 接着引入映射函数$\phi $(·)向高维再生Hilbert空间(>reproducing kernel Hilbert space,RKHS)进行投影，采用最大均值差异(maximum mean discrepancy，MMD)算法^[9]来描述映射后数据间的距离

$\begin{gathered} D\left( {{{X'}_s},{{X'}_t}} \right) = \hfill \\ {\left\| {\frac{1}{M}\sum\limits_{i = 1}^{{n_u}} {\phi \left( {{{X'}_{{s_i}}}} \right) - \frac{1}{N}\sum\limits_{j = 1}^{{n_u}} {\phi \left( {{{X'}_{{t_j}}}} \right)} } } \right\|_H}. \hfill \\ \end{gathered} $

其中H表示RKHS。 引入MMDE方法，上式进一步写为

$D\left( {{{X'}_s},{{X'}_t}} \right) = tr\left( {KL} \right).$

其中: tr(·)表示矩阵的迹，$K = \left[ {\begin{array}{*{20}{c}} {{K_{ss}}} & {{K_{st}}} \\ {{K_{ts}}} & {{K_{tt}}} \end{array}} \right]$为核矩阵，$L = \left[ {{l_{ij}}} \right] \in {R^{\left( {{n_l} + {n_{\text{u}}}} \right) \times \left( {{n_l} + {n_{\text{u}}}} \right)}}$满足

${l_{ij}}\left\{ {\begin{array}{*{20}{c}} {\frac{1}{{n_l^2}},{x_i},{x_j} \in {X_s};} \\ {\frac{1}{{n_u^2}},{x_i},{x_j} \in {X_{\text{t}}}} \\ { - \frac{1}{{{n_l}{n_u}}},其他.} \end{array}} \right.$

可以通过下式求解：

$\begin{gathered} \mathop {\min }\limits_{K = \hat K + \varepsilon I} {\text{tr}}\left( {KL} \right) - \lambda {\text{tr}}\left( K \right), \hfill \\ {\text{s}}{\text{.t}}{\text{.}}{K_{ii}} + {K_{jj}} - 2{K_{ij}} = d_{ij}^2\left( {{x_i}.{x_j}} \right) \in N, \hfill \\ KI = 0,\hat K \geqslant 0,\varepsilon > 0. \hfill \\ \end{gathered} $

其中: (x_i,x_j)∈N表示x_i和x_j是最近邻点，I和0分别表示全1和全0的向量。 通过半定规划(semi-definite programming，SDP)算法求解得到K，然后采用主成分分析(principal component analysis,PCA)等降维方法得到X_s^′,X_t^′。

1.2 半监督判别分析

通过特征迁移学习算法来寻找不同数据库的低维邻近空间在一定程度上降低了类别区分度^[8]。 为了解决这一问题，不是直接用${{X'}_s}$及其类别标签，而是利用X′=[X_s^′,X_t^′]来训练分类器。 这里采用SDA方法^[10]来进行特征降维，从而增加类别区分度，进而提升情感特征的分类效果。

$\mathop {\max }\limits_a \frac{{{a^{\text{T}}}{S_b}a}}{{{a^{\text{T}}}{S_{\text{t}}}a + \beta J\left( a \right)}}.$

其中: S_b和S_t分别表示类间及整体散度矩阵，a表示投影方向，J(a)表示规整函数，β表示平衡因子。

设$X' = \left[ {{{x'}_1},{{x'}_{2,}} \cdots ,{{x'}_N}} \right]$，则J(a)定义如下：

$\begin{align} & ~J\left( a \right)=\sum\limits_{i,j}{\left( {{a}^{\text{T}}}{{{{x}'}}_{i}}-{{a}^{\text{T}}}{{{{x}'}}_{j}} \right)}{{s}_{ij}}. \\ & {{s}_{ij}}= \\ & \left\{ \begin{matrix} 1,{{{{x}'}}_{i}}\in {{N}_{p}}\left( {{{{x}'}}_{j}} \right)\text{or} & {{{{x}'}}_{j}}\in {{N}_{p}}\left( {{{{x}'}}_{i}} \right); \\ 0, & A. \\ \end{matrix} \right. \\ \end{align}$

其中N_p(x_i^′)为x_i^′的p近邻点。 通过求解特征值问题得到使目标函数最大化的a：

${{S}_{b}}a=\lambda \left( {{S}_{t}}+\beta {X}'\left( D-S \right){{{{X}'}}^{\text{T}}} \right)a.$

其中： λ表示特征值，$S = {\left[ {{s_{ij}}} \right]_{N \times N}},D$为对角阵，其中D_ii=$\sum\limits_j {{s_{ij}}} $。 求得a后，运用投影后的特征训练得到分类器进行情感识别。

2 语音情感数据库

选择合适的情感数据库也是语音情感识别的重要组成部分。 本文选择2个经典的语音情感数据库，分别是Berlin语音情感库^[11]和eNTERFACE语音情感库^[12]。 下面分别对这2个数据库进行简要介绍。

Berlin库是最为常用的公开语音情感数据库之一，它是由德国柏林工业大学录制的德语情感数据库。 由10位专业演员(5男5女)参与录制，得到包含生气、 无聊、 厌恶、 害怕、 高兴、 中性和悲伤等7类基本情感的800条语句。 对于文本语料的选择遵从选择语义中性、 无明显情感倾向的日常语句，且语音在专业录音室中录制而成。 经过20个说话人的听辨测试，最终得到494条情感语句用于实验评价。

eNTERFACE库是一个公开的音视频英语情感数据库。 由来自14个国家的42位说话人录制而成，其中81%的为男性，19%的为女性。 共包含生气、 厌恶、 害怕、 高兴、 悲伤和惊奇6类基本情感。 通过2位专家对录制语音的情感倾向度进行打分，最终选择了1 170条语句用于实验。

3 实验结果与评价 3.1 实验准备

为了验证本文提出方法的有效性，分别采用2种方案进行测试。 在方案1中，将eNTERFACE库(类别标签已知)作为训练库，并将Berlin库(类别标签未知)作为测试库； 在方案2中，将Berlin库(类别标签已知)作为训练库，并将eNTERFACE库(类别标签未知)作为测试库。 选择2个数据库共有的生气、 厌恶、 害怕、 高兴、 伤心等5类基本情感进行实验评价。

利用openSMILE工具箱对情感特征进行提取，并采用Interspeech 2010语音情感识别竞赛中使用的特征集，共1 582维特征。 包含38个声学低层描述符(low-level descriptors,LLDs)及其一阶差分，通过21个类函数的统计量作用于上述LLDs，并舍弃16个零信息量的特征，同时将F0数量和时长加入到特征集中。 实验所采用的LLDs如表 1所示。

采用传统SVM方法作为情感分类器，共对4种方法进行了对比实验，分别是基于单一情感库进行训练和测试的基线方法(baseline)、 基于特征迁移学习的语音情感识别方法(FT)、 基于特征迁移学习和SDA相结合的语音情感识别方法(FTS)和采用传统SVM直接识别的语音情感识别方法(automatic)。 2个数据库分别随机地均分成10份，每次选择9份用于训练，其余的用于测试。 共进行10重交叉验证来进行模型参数的选择。

3.2 实验评价

表 2给出了2种方案下由不同方法得到的情感识别率。 可以看到，无论是方案1还是方案2，本文提出的基于特征迁移学习的方法都明显超过了基线方法和传统直接识别的方法。 同时可以发现，与SDA方法相结合可以进一步提升情感识别率。 此外也可以观察到，无论采用哪种方法，与方案1相比，方案2得到的识别率都相对偏低，这与传统基于单一数据库得到的结果一致^[13]。

图 2和3分别给出了2种方案下本文提出的方法在取得最高识别率时得到的情感混淆矩阵。 从图 2可以看出，在方案1中，“伤心”取得了最高的情感识别率(85%左右)，而“高兴”的识别率最低(仅29%左右)。 同时可以观察到，其他情感更容易被误识别为“厌恶”，而几乎所有的情感类型都不会被误识别为“伤心”。 从图 3可以观察到，“生气”取得了最高识别率(62%左右)，而“厌恶”的识别率最低(仅31%左右)。

4 结 论

为了解决训练数据和测试数据来自不同语音情感数据库所造成的低识别率问题，本文提出了一种有效的基于特征迁移学习的语音情感识别方法。 首先，通过引入迁移学习方法来解决不同数据库的情感特征分布不一致的问题； 其次，采用半监督判别分析方法利用无标签的特征来进一步提升类别区分度； 最后，通过实验对提出的方法进行评价。 实验结果表明： 本文提出的特征迁移学习方法可以显著提高跨库条件的语音情感识别率。

论文的实验仅是在2个数据库上进行初步测试，下一步将引入更多的数据库对方法的有效性进行验证。 论文提出的方法主要是基于现有情感特征进行识别，而有效的情感特征是语音情感识别实现的关键，下一步研究将考虑如何提取更为有效的情感特征来提升跨库条件下的语音情感识别率。