语种识别是指计算机自动判定或确认一段语音所属的语言种类的技术，该技术可使大规模跨语言语音识别应用成为可能，可用于口语语言翻译、口语文件检索等，同时也是国家安全领域信息提取的研究重点。语种识别的关键问题之一是提取可以表征同一语言中语音的共性、不同语言间语音的差异的特征。认知学的实验表明：语种信息可以由不同层次的特征反映出来，包括声学层特征、音素层特征、韵律特征、词法特征和句法特征^[1]。其中，声学层和音素层特征是最常用的语种识别特征。

声学层特征主要表征了不同语言的语音信号时频分布的差异，通常直接从语音信号分帧变换提取。常用的有美尔倒谱系数(mel-frequency cepstral coefficient，MFCC)及其衍生特征MSDC(MFCC-shifted delta cepstrum)^[2]等。对声学层特征建模的方法有很多，常用的有Gauss混合模型-全局背景模型(Gaussian mixture model-universal background model，GMM-UBM)^[3]、总变化量因子分析(total variability factor analysis)^[4]和Gauss超向量-支持向量机(GMM super vector-support vector machines，GSV-SVM)^[5]等。音素层特征主要以各语言间的音素不完全相同、各音素出现频率有差异以及各音素前后关系的不同作为识别依据，通常用音素识别器将语音信号解码为音素串或者音素网格，再以N元文法^[6]或者向量空间模型^[7]建模。

最近，一个名为音素对数似然比(phone log-likelihood ratio，PLLR)的新特征在语种识别领域取得了优秀的成果^[8]。该特征首先利用音素识别器将输入语音识别为帧级的音素后验概率向量，但并不解码出音素串或者音素网格，而是将这些音素后验概率向量进行一系列变换处理，得到如同声学层特征一样的帧级形式。该特征既拥有高于声学层(音素层)的语种鉴别性信息，又可以使用声学层丰富的建模方法，大量实验证明该特征是目前最有效的语种识别特征之一。但是，PLLR特征没有考虑语种的鉴别性信息在特征向量各维的分布是不均匀的，即有些分量含有较多的语种鉴别性信息，而有些分量含有的语种鉴别性信息较少。

为了进一步提高PLLR特征的语种鉴别性，本文利用F比分析方法来估计PLLR特征向量各维的语种鉴别性大小。F比方法通常用在分类任务中，通过计算某一维特征在各类中的分布情况，分析该维特征对分类的贡献^[9]。基于F比分析结果，本文提出了一个PLLR的扩展特征，即加权音素对数似然比(weighted phone log-likelihood ratio, WPLLR)特征，根据PLLR特征向量各维的语种鉴别性大小，赋予其不同的权重：对含有较多语种鉴别性信息的分量赋予较高的权重，对含有语种鉴别性信息较少的分量赋予较小的权重。

为了检验本文所提出的WPLLR特征的有效性，使用美国国家标准技术署(National Institute of Standards and Technology，NIST)2007年语种识别评测中30 s的测试数据^[10]，应用Brno科技大学(Brno University of Technology, BUT)开发的3个音素识别器^[11]，在GSV-SVM系统上比较了PLLR特征与WPLLR特征的性能。实验结果显示，无论在单个音素识别器情况下，还是在3个音素识别器结果融合的情况下，WPLLR特征的性能都明显优于PLLR特征。

1 WPLLR特征提取方法

本文提出的WPLLR特征的提取流程共分为5个步骤，如图 1所示。

步骤1  使用语音端点检测(voice activity detector，VAD)技术去除输入音频信号中的非语音段。

步骤2  通过音素识别器将语音信号识别为帧级的音素后验概率向量。设每一帧识别为一个k维的音素后验概率向量[p(1), p(2)，…，p(k)]，其中p(k)∈[0,1]，且满足

$ \sum\limits_{k = 1}^K {p\left( k \right) = 1.} $

(1)

步骤3  对每一帧的音素后验概率向量进行规整，即计算每个音素后验概率的对数似然比，得到最基本的PLLR特征向量。以l(k)表示如下：

$ l\left( k \right) = \log \left( {\frac{{p\left( k \right)}}{{1-p\left( k \right)}}} \right). $

(2)

经过规整处理后，特征向量每一维的分布近似Gauss分布，更适合于建模^[8]。

步骤4  根据PLLR特征向量不同维所包含的语种鉴别性信息的多少，赋予其相应权重。设加权后的特征表示为r(k),

$ r\left( k \right) = w\left( k \right)l\left( k \right). $

(3)

其中w(k)是特征向量第k维的权重。加权是WPLLR特征提取的关键，原PLLR特征可以看作在所有维的权重都为1。其中权重的计算将在下一节中详细介绍。

步骤5  应用主成分分析(principal component analysis，PCA)方法降低特征向量各维间的相关性及其维数。PCA降维不但可以节省识别系统的时间、空间消耗，同时还可以提升系统的性能^[12], 成为PLLR特征必不可少的后处理，在WPLLR特征提取中也同样得到了应用。

2 基于F比的权重计算

特征向量各维的权重与其对语种鉴别性的贡献大小相对应。具体来讲，对拥有语种鉴别性信息较多的分量赋予较高权重，对拥有语种鉴别性信息较少的分量赋予较低权重。

为了分析PLLR特征向量各维对语种鉴别性的贡献, 用F比方法来分析特征每一维在训练集各语种间的分布情况。F比是一个分析特征对分类任务贡献的方法，如果特征在类间的差异较大，且在类内差异较小，其值会比较大，反之则较小^[9]。

假设训练集包含了M个语种的数据，第i个语种有N_i条语句，i∈[1，M]。设l_{i, t}^j(k)为第i个语种、第j条语句、第t帧中第k维PLLR特征的值，设s_i^j(k)是l_{i, t}^j(k)在该条语句所有帧上的和：

$ s_i^j\left( k \right) = \sum\limits_{t = 1}^T {l_{i, t}^j\left( k \right).} $

(4)

其中T是该语句的总帧数。

再设s_i(k)为l_{i, t}^j(k)在第i个语种所有语句上的和，s(k)为l_{i, t}^j(k)在整个训练集所有语句上的和,

$ {s_i}\left( k \right) = \sum\limits_{j = 1}^{{N_i}} {s_i^j\left( k \right)}, $

(5)

$ s\left( k \right) = \sum\limits_{i = 1}^M {{s_i}\left( k \right).} $

(6)

定义m_i^j(k)、m_i(k)和m(k)分别是s_i^j(k)、s_i(k)和s(k)在整个向量上的归一化值：

$ m_i^j\left( k \right) = \frac{{s_i^j\left( k \right)}}{{\sum\limits_{q = 1}^K {s_i^j\left( q \right)} }}, $

(7)

$ {m_i}\left( k \right) = \frac{{{s_i}\left( k \right)}}{{\sum\limits_{q = 1}^K {{s_i}\left( q \right)} }}, $

(8)

$ m\left( k \right) = \frac{{s\left( k \right)}}{{\sum\limits_{q = 1}^K {s\left( q \right)} }}. $

(9)

其中K是特征向量的维数。

则PLLR特征向量第k维F比的计算方式如下：

$ F\left( k \right) = \frac{{\frac{1}{M}\sum\limits_{i = 1}^M {{{\left( {{m_i}\left( k \right)-m\left( k \right)} \right)}^2}} }}{{\frac{1}{M}\sum\limits_{i = 1}^M {\frac{1}{{{N_i}}}\sum\limits_{j = 1}^{{N_i}} {{{\left( {m_i^j\left( k \right)-{m_i}\left( k \right)} \right)}^2}} } }}. $

(10)

从F比的表达式可以看出，分子部分表示了PLLR特征向量第k维在各个语种间的差异，而分母部分表示了其在每个语种内部的分布情况。如果特征向量第k维在各个语种间差别较大，并且在同一语种内差异较小，则F比的值较大，即特征向量第k维包含了较多的语种鉴别性信息；反之，则F比的值较小，即特征向量在第k维包含的语种鉴别性信息较少。

得到PLLR特征向量每一维的语种鉴别性大小后，就可以计算WPLLR特征提取中的权重。在本文中，每一维的权重定义为对应F比值的x倍：

$ \omega \left( k \right) = xF\left( k \right). $

(11)

其中x是一个经验参数。

需要指出，权重的计算是在模型训练阶段，在识别系统运行阶段，权重不需要重新计算，因此不会增加识别系统的时间消耗。

3 语种识别实验 3.1 实验设置 3.1.1 数据集

为了比较本文所提出的WPLLR特征与原PLLR特征的性能，使用NIST 2007年语种识别评测数据集进行实验，该数据集包含14个语种的电话信道语音^[10]。测试数据为闭集条件下的30 s语音数据。

3.1.2 音素后验概率提取

为了充分检验本文所提特征的有效性，实验中使用了3个BUT开发的音素识别器^[11]：俄语(Russian，RU)、匈牙利语(Hungarian，HU)和捷克语(Czech，CZ)音素识别器。这些识别器将每个音素分成3个状态，即每个音素有3个后验概率。用每个状态的音素后验概率作为特征的一维，而不是将3个状态加起来。这样既可以充分利用音素的信息，也可以利用状态提供的鉴别性信息^[13]。3个音素识别器所对应的特征向量维数分别为：159(RU)、186(HU)和138(CZ)。

3.1.3 语种识别系统

使用GSV-SVM系统来对比2个特征的性能。在这个系统中，首先从每个语种的训练数据中随机挑选若干语句，训练一个256 Gauss的UBM (universal background model)。然后应用最大后验概率估计来得到每条语句的Gauss超向量，再以一对一与一对多融合的方式训练SVM模型^[14]。最后，以线性判别分析(linear discriminant analysis，LDA)后接单Gauss建模的方法作为分数端的处理。这个分数端处理方法首先将得分向量进行LDA变换，再用共用协方差矩阵的单Gauss对每个语种的得分向量建模。

3.2 F比的计算

为了计算PLLR特征向量各维的F比，首先提取了NIST07训练集的数据的基本的PLLR特征(PCA降维之前)，然后利用节2所介绍步骤来计算F比的值。3个识别器分别对应的F比值如图 2所示。

从图 2可以看到，语种鉴别性信息在PLLR特征向量各维的分布是不均匀的。得到F比值之后，特征向量的权重就可以利用式(11) 计算得到，再用式(3) 进行加权得到WPLLR，最后进行PCA降维处理。在本文实验中，3个音素识别器的特征向量都降为56维。

3.3 实验结果

本文给出2个特征在NIST07中30 s测试集上的实验结果。指标选用NIST定义的平均检测代价(average cost performance) C_avg^[10]和等错率(equal error rate，EER)，这2个指标都是越小越好。实验同时对比了PLLR特征与WPLLR特征在3个音素识别器上的性能，以及3个音素识别器得分融合的性能。为了使融合结果更可靠，实验中使用了等权重的线性融合方式。2个特征的测试结果对比如表 1和表 2所示。

如表 1和表 2所示，无论是单个音素识别的结果，还是3个音素识别器融合的结果，相比于PLLR特征，本文提出的WPLLR特征都取得了更优异的性能。从单个音素识别器的表现来看，俄语音素识别器(RU)的性能提升最大，匈牙利语音素识别器(HU)的性能最好。最好的识别结果为3个音素识别器得分融合的结果。可见，提高PLLR特征向量中含有较多语种鉴别性信息的分量的权重，可以提高特征的语种鉴别性，进而提高识别系统的性能。

4 结论

本文分析了PLLR特征向量各维所含语种鉴别性的差异，提出了WPLLR特征，对PLLR特征向量中含有较多语种鉴别性的分量赋予较高的权重。在NIST07上的实验结果显示，本文所提出的WPLLR特征在各种情况下都比原PLLR特征性能更优异。