深度学习模型如递归神经网络(recursive neural networks，ReNN)等在文本情感分析任务上取得了优异的结果^[1]。为了保证深度学习分类模型的准确性和可靠性，往往需要足够数量的带标签训练样本，且要求训练样本集与测试样本集是独立同分布的^[2]。但在实际应用中发现这2个条件往往无法同时满足，特定的领域往往缺乏足够数量的带标签数据，或者可用的训练数据来自不同分布的异构领域。跨领域情感分类(cross-domain sentiment classification，CDSC)通过源领域到目标领域的情感迁移，实现目标领域不带标签数据的情感分类任务，是自然语言处理任务中的重要分支之一^{[3, 4]}。

本文中，领域(domain)即指现实生活中通常所说具有相似主题文本的集合，如电子(electronic)、书籍(books)和厨房用品(kitchen)等^[5]。不同领域数据分布存在差异鸿沟，同时情感的表达具有领域依赖性，同一个情感词或者短语在不同领域中的情感极性可能是不同的^[6]。在文本情感分类任务中，大规模文本数据的涌现与特定小众领域缺乏标注的矛盾，导致了跨领域统计异构性高、标注样本稀少和过拟合等问题^[7]。因此，现有的深度学习模型需要有效利用其他领域的带标签数据，并解决对于领域内标注样本的依赖问题，提高跨领域的泛化能力。绝大多数情感分析方法把深度学习模型看作是端到端的处理过程，忽视了对情感表达尤其是情感传播的内部机制和原理的研究。跨领域情感分类关注可迁移的深度学习情感分析模型和更深层次的情感语义理解^[8]。

许多自然语言处理任务可以共享关于语言的常识如语言表示、词性信息和句法结构等。句法分析的主要任务是识别出句子所包含的句法成分以及这些成分之间的关系，一般以依存句法树(dependency parse tree)来表示句法分析的结果。依存句法分析(dependency parsing)是指识别语句中词与词之间的依存关系，并揭示其句法结构，包括主谓关系、动宾关系、核心关系等。依存句法分析是自然语言处理的核心技术，是对语言进行深层次理解的基石^[9]。电子和书籍2个领域各1个句子的语义依存分析(semantic dependence analysis，SDA)结果如图 1所示，其中NOUN为名词，AUX为系动词，PART为分词，ADV为副词，ADJ为形容词，PUNCT为标点符号标签，PRON为代词，nsubj为名词主语修饰，cop为系动词修饰，advmod为状语修饰，punct为标点符号修饰。由图 1可见，尽管不同领域使用的情感词不同，但不同领域中句式相同句子的语义依存分析结果是非常相似的，即不同领域之间存在语义一致性，因此可以共享不同领域之间的句法结构信息，迁移相同句法规则下的语义信息。

语言是有层次结构的，低层级元素组合构建高层级元素^[10]。同时，人类自然语言的语义具有可组合性，词语可以组成句子，而更高层的语义取决于底层的语义以及它们的组合方式^[11]。因此可以把一个依存句法树结构信息最终编码为一个文档向量。本文提出的依存句法递归神经网络模型(dependency parsing recursive neural network model)可以对句子的句法结构信息建模，输出文本的情感标签。

根据不同领域之间的语义一致性，句法结构信息一致性学习和跨领域迁移直接影响跨领域情感迁移的精度和效率，因此领域一致性学习是关键问题^[12-13]。此外，不同领域的相似度度量可以衡量领域间的分布差异，指导模型寻找领域一致性的特征表示，因此如何实现跨领域的分布差异度量也是关键问题。

针对以上两点问题，本文利用跨领域语义一致性，提出了一种基于句法结构迁移和领域融合(syntactic structure transfer and domain fusion，SSTDF)的跨领域文本情感分类方法。可迁移的依存句法递归神经网络模型通过句法结构建模提取领域情感特征，并且句法结构和模型参数可以跨领域共享。在最小距离约束上，使用条件最大均值差异(conditional maximum mean discrepancy，CMMD)距离度量方式，保证在学习过程中提取领域通用特征。并在亚马逊公司跨领域情感分类数据集(https://www.cs.jhu.edu/~mdredze/datasets/sentiment/index2.html)上进行了实验验证。

1 相关工作 1.1 深度迁移学习方法

近年来，迁移学习中的子领域“深度迁移学习(deep transfer learning，DTL)”已经得到了广泛的关注和研究，特别是在跨领域文本情感分类任务上取得了很大成功^[14]。一般地，深度迁移学习用于跨领域文本情感分类任务主要分为2个步骤：首先选取合适的深度情感语义组合方法，然后选择合适的深度情感迁移学习算法迁移相关的情感知识。已有很多学者将深度迁移学习应用于跨领域文本情感分类任务。Tan等^[15]对于深度迁移学习技术进行了总结，并将深度迁移学习分为4类，分别是基于实例、基于映射、基于网络和基于对抗的深度迁移学习方法。Zhao等^[16]针对短文本跨领域情感分类任务提出了一种两阶段的双向长短时记忆模型和参数迁移框架。Zhou等^[17]提出了一种双向迁移深度神经网络，迁移源领域的样本到目标领域中，同时迁移目标领域的样本到源领域中。针对情感分析任务的特定词嵌入，Dong等^[18]探索了利用额外的数据加入到情感分析的深度神经网络中，并发现基于卷积神经网络对偶模块的记忆网络可以取得更好的泛化能力。Wei等^[19]使用大规模亚马逊网站产品评论辅助跨领域数据集，提出了一种两层的卷积神经网络用于跨领域的产品评论分类任务。实验表明此方法展示了对于跨领域的产品评论分类任务深度神经网络有很好的可迁移性。Glorot等^[20]提出了一种深度学习的策略解决情感分类器的领域适应性问题。Yu等^[21]利用神经网络架构研究跨领域的情感分类问题，借鉴结构一致化学习策略，利用2个辅助的任务帮助引入句子嵌入在跨领域情感分类表现良好。

1.2 最大均值差异度量方法

在领域适应过程中，可以在学习过程中加入领域相似度度量，保证在学习过程中2个领域接近。度量不同领域距离的一种比较流行的方法是最大均值差异(maximum mean discrepancies，MMD)度量方法及其变体方法^[22]。MMD度量在再生Hilbert空间中2个分布的距离，是一种核学习方法，仅考虑了源领域和目标领域的整体均值接近。MMD度量方法被有效应用于迁移学习和领域适应任务。例如，Long等^[23]提出了一种联合分布适应方法，使用MMD距离计算边缘分布和条件分布的差异。Long等^[24]还提出了一种新的深度适应网络架构，将卷积神经网络推广到领域适应场景，提出了多核MMD，并进行分层的迁移适配。为了解决分布适应问题，Wang等^[25]提出了一种称为平衡分布适应的迁移学习方法，可以自适应地利用边际和条件分布差异的重要性，采用MMD来根据经验估计2种分布差异。应对不同领域特征分布的巨大差异，Duan等^[26]提出了领域转移多核学习方法，通过最小化结构风险函数和来自辅助域和目标域的标记和未标记样本之间的分布不匹配，同时学习核函数和鲁棒分类器。MMD度量方法也被应用于跨领域情感分类任务，例如Zhao等^[10]针对跨领域情感分类任务对MMD度量进行了改进，引入了同一个领域内不同类的差异度和类内的紧致程度。考虑了不同领域映射后的边际分布距离，并根据此原则设计了深度领域融合损失函数。Zhu等^[27]修改了MMD来测量类条件分布之间的距离，提出条件最大均值差异(conditional maximum mean discrepancy，CMMD)并集成到深度神经网络中，构成多表示适应性网络(multi-representation adaptation networks，MRAN)，并应用到跨领域图像分类任务。

2 句法结构迁移和领域融合方法 2.1 符号定义

本文中，D表示领域数据集，d∈D表示评论文本，s为评论文本中的一个句子，并由一系列词组成。词w_i是低维连续实值向量，w_i=(w_i¹, w_i², …, w_i^m)，m为词向量维度。(x, y)为训练样本对，y是训练样本x的情感标签，y∈Y，Y={Positive, Negative}是情感类别标签集合。

源领域数据集记为D_S={x_i, y_i}_i=1^N_S，目标领域带标签数据集记为D_TL={x_j, y_j}_j=1^N_TL，目标领域测试样本集记为D_TU={x_j}_j=1^N_TU，目标领域数据集记为D_T=D_TL∪D_TU。在本文中，D_S与D_T的联合概率分布是不一致的，即P_S(x, y)≠P_T(x, y)。

2.2 基本框架

在本文跨领域情感迁移的过程中，主要存在以下2个问题：

1) 领域共享机制和一致性学习问题，即如何设计融合句法结构的递归神经网络模型，并实现句法结构信息的跨领域共享和相同句法规则下的语义信息的迁移；

2) 跨领域分布差异度量问题，即如何有效度量领域分布之间的距离，并在学习过程中加入最小距离约束。

本文提出了基于句法结构迁移和领域融合的跨领域情感分类方法。基本框架如图 2所示，包括了依存句法递归神经网络模型、参数迁移策略、领域融合策略，联合学习和优化过程。输入为目标领域不带标签数据D_TU，输出其预测情感标签。

针对领域共享机制和一致性学习问题，首先将依存语法特征加入到ReNN结构中，设计一种可迁移的依存句法ReNN模型。在此模型中，输入为D_S或者D_TL，递归神经网络层后是Softmax层，输出为情感分类标签。同时，句法结构信息和模型参数信息可以跨领域共享。

针对跨领域分布差异度量问题，使用CMMD距离，更细致地考虑了不同领域间相同类别间的分布差异。递归神经网络层和Softmax层之间加入了领域融合层。通过约束源领域和目标领域的分布，以领域融合的方式实现最大化源领域和目标领域情感信息之间的共享。

2.3 依存句法ReNN模型

根据不同领域之间的句法结构一致性，不同领域的句子可以共享相似的句法结构，迁移相同句法规则下的语义信息，提出了一种可迁移的依存句法ReNN模型。采用ReNN的形式将句子的依存句法信息加入到篇章级情感分析中，使得模型能够利用依存句法中有用的信息，达到更好的情感分析效果。此模型可以有效地捕捉句子结构信息，并且可以解决长距离依赖和负面修饰关系的问题。

依存关系集合记为R，包含了主谓关系(SBV)、动宾关系(VOB)、间宾关系(IOB)、定中关系(ATT)、状中结构(ADV)等。句子s的依存句法树为一棵有向树G=(V, A)，词的集合为V，A={(w_i, r_ij, w_j)}是词及依存关系的集合，w_i, w_j∈V，w_i和w_j的依存关系为r_ij。w_i的词性向量记为c_i，词性向量和词向量的拼接c_iw_i可以强化词的词性特点，比如副词“very”，字面意思是“用于强调”。

考虑含有n个词w₁, w₂, …, w_n组成的句子的依存句法树T。在此依存句法树结构中，子节点w₁和w₂的父节点为

$ \boldsymbol{g}=\tanh \left(\boldsymbol{W} \cdot\left[\boldsymbol{c}_1 \boldsymbol{w}_1 ; \boldsymbol{c}_2 \boldsymbol{w}_2 ; \boldsymbol{e}\right]+b\right) $

(1)

其中：tanh为非线性激活函数，W为参数，e为w₁和w₂之间的语义依存关系向量，b∈R为偏置项，W和b在所有的节点都是共享的。

根据以上操作可以得到递归后的矩阵为G=(g₁, g₂, …, g_n)。池化层使用Max-over-pooling的方法，池化后的向量为

$ \hat{\boldsymbol{g}}_k=\max \left\{\boldsymbol{g}_k, \boldsymbol{g}_{k+1}, \cdots, \boldsymbol{g}_{k+h-1}\right\} $

(2)

其中：h是一个滑动窗口的大小，k=1, 2, …, n-h+1。按照自下而上的顺序结构得到的特征矩阵为$\boldsymbol{Z}=\left(\hat{\boldsymbol{g}}_1, \hat{\boldsymbol{g}}_2, \cdots, \hat{\boldsymbol{g}}_{n-h+1}\right) $。最后通过全连接层的方式连接到情感标签y：

$ y=\operatorname{softmax}\left(\widetilde{\boldsymbol{w}}^{\mathrm{T}} \cdot \boldsymbol{Z}+\widetilde{b}\right) . $

(3)

其中：$ \widetilde{\boldsymbol{w}}$为全连接层参数，$\widetilde{b} $为偏置项。

2.4 句法结构迁移策略

图 2中源领域网络到目标领域网络的句法结构迁移策略主要有以下3个步骤：

1) 在源领域网络中使用大规模训练数据集D_S训练依存句法ReNN，称之为源网络(source network)；将ReNN当作特征提取器，递归层所学到的特征即为基础共享特征提取层；

2) 使用训练好的源网络初始化目标领域依存句法递归神经网络，称之为目标网络(target network)，源网络中依存句法ReNN结构和连接参数被整体迁移到目标网络，目标网络待初始化的层要与源网络的层的名字、类型以及层的设置参数等均相同，目标网络Softmax层单独初始化；

3) 使用参数微调更新目标领域带标签数据D_TL训练目标网络的参数，微调最后一层前的所有层的参数，对于进行参数更新的层，学习率减小为原来的1/10；而对于Softmax层学习率则增加到原来的10倍，加快了学习速率。

2.5 领域融合策略

在跨领域情感分类问题中，源领域的联合概率分布P_S(x, y)和目标领域的联合概率分布P_T(x, y)是不一致的，希望经过再生核Hilbert空间(reproducing kernel Hilbert space，RKHS)映射后源领域和目标领域的分布尽可能地相似，即P_S(x, y)≈P_T(x, y)。

传统的MMD方法对D_S和D_T度量为

$\begin{gathered} \operatorname{MMD}\left(D_{\mathrm{S}}, D_{\mathrm{T}}\right)= \\ \left\|\frac{1}{\left|D_{\mathrm{S}}\right|} \sum\limits_{x_i \in D_{\mathrm{S}}} \varphi\left(x_i\right)-\frac{1}{\left|D_{\mathrm{T}}\right|} \sum\limits_{x_j \in D_{\mathrm{T}}} \varphi\left(x_j\right)\right\|_{\mathrm{H}}^2 . \end{gathered} $

(4)

本文使用CMMD距离度量源领域和目标领域分布差异，具体为源领域及目标领域的正面样本集均值距离和负面样本集均值距离之和：

$ \begin{gathered} \operatorname{CMMD}\left(D_{\mathrm{S}}, D_{\mathrm{T}}\right)= \\ \left\|\frac{1}{\left|D_{\mathrm{S}}^{\mathrm{pos}}\right|} \sum\limits_{x_i \in D_{\mathrm{S}}^{\text {pos }}} \varphi\left(x_i\right)-\frac{1}{\left|D_{\mathrm{T}}^{\text {pos }}\right|} \sum\limits_{x_j \in D_{\mathrm{T}}^{\text {pos }}} \varphi\left(x_j\right)\right\|_{\mathrm{H}}^2+ \\ \left\|\frac{1}{\left|D_{\mathrm{S}}^{\mathrm{neg}}\right|} \sum\limits_{x_i \in D_{\mathrm{S}}^{\text {neg }}} \varphi\left(x_i\right)-\frac{1}{\left|D_{\mathrm{T}}^{\mathrm{neg}}\right|} \sum\limits_{x_j \in D_{\mathrm{T}}^{\text {neg }}} \varphi\left(x_j\right)\right\|_{\mathrm{H}}^2 . \end{gathered} $

(5)

其中：D_S^pos和D_S^neg分别为D_S中正面样本集和负面样本集，D_T^pos和D_T^neg为D_T中正面样本集和负面样本集。

2.6 联合学习和优化过程

使用D_S和D_TL分别训练依存句法递归神经网络和Softmax层的参数，在Softmax层之前加入领域融合层，并在目标网络执行参数微调策略。在联合优化过程中，通过最小化源领域和目标领域的情感分类损失，同时考虑源领域和目标领域的领域融合损失，将两者结合起来的优化目标如下：

$ \text { Loss }=L_{\mathrm{S}}+\alpha L_{\mathrm{T}}+\beta \operatorname{CMMD}\left(D_{\mathrm{S}}, D_{\mathrm{T}}\right) . $

(6)

其中：L_S为源领域情感分类损失，L_T为目标领域情感分类损失，α∈[0, 1]和β∈[0, 1]分别目标领域分类损失和领域融合损失的适应性权重。

根据此损失函数设计参数优化函数为

$ \min \limits_\theta \operatorname{coss}=\min \limits_\theta\left(L_{\mathrm{S}}+\alpha L_{\mathrm{T}}+\beta \operatorname{CMMD}\left(D_{\mathrm{S}}, D_{\mathrm{T}}\right)\right) . $

(7)

其中：θ为参数集，包含了源领域和目标领域依存句法递归神经网络模型参数和Softmax层参数、MMD空间映射参数等。

在优化完成后，输入目标领域不带标签数据D_TU到模型中，输出其预测的情感类别。

3 实验设置 3.1 数据集

本文采用的数据集为已有跨领域情感分类研究中使用比较多的亚马逊英文在线评论情感分类数据集，包含4个领域，分别是B(books)、D(DVD)、E(electronic)和K(kitchen)，每个领域正面和负面评论各有1 000个。本文选择其中1个领域为源领域D_S，其他3个领域作为目标领域D_T，选择目标领域中少量(20%)的数据为带标签数据集D_TL。

3.2 参数设置

依存句法分析方面，本文使用哈工大社会计算与信息检索研究中心研发的“语言技术平台(LTP)”提供的依存句法分析工具(https://github.com/HIT-SCIR/ltp)对语料进行依存句法分析，具体依存句法关系类型和标签见LTP使用指南依存句法关系部分(http://ltp.ai/docs/appendix.html#id5)。使用GloVe方法^[28]已经训练好的词向量，维度为300维。采用随机梯度下降方法训练依存句法递归神经网络参数，其中源网络学习率设置为0.001，批量数据样本数为64，Dropout率设置为0.5，迭代轮次数(epoch)设置为20，源网络迭代次数为1 600。因为D_TL训练数据只占D_S训练数据的20%，目标网络学习率为0.000 1，目标网络迭代次数为340。设置损失函数中α=0.5，β=0.7。

3.3 对比方法

本文方法与以下方法比较：

1) GAdaBEL方法。针对目标领域带标签数据偏少的问题，赵传君^[6]等综合运用数据分组、AdaBoost和集成学习等策略与技术，提出了一种基于分组提升集成的跨领域文本情感分类方法。

2) DSR(dictionary based sparse representation for domain adaptation)方法^[29]。Mehrotra等针对有监督领域适应任务，提出了一个基于自学学习的框架，该框架利用K-SVD算法以无监督的方式学习数据的稀疏表示。

3) DTL(deep transfer learning)方法^[16]。Zhao等提出了社会媒体跨领域情感分类深度迁移学习方法，针对短文本跨域情感分类任务设计了一个两阶段双向长短期记忆神经网络和参数迁移框架。

4) 多源迁移学习(multi-source transfer learning，MSTL)方法^[30]。该方法将余弦相似度测度应用于领域无关的通用情感词典SentiWordNet，计算特征权重，生成修正的情感评分。融合多个源域学习情感分类模型，该方法完全独立于目标域，不需要标记目标域数据。

5) 句法结构迁移(syntactic structure transfer，SST)方法。按照本文提出的策略，但仅使用SST方法完成跨领域情感分类，沿用3.2节的参数设置。

3.4 评价指标

鉴于多数跨领域文本情感分类方法均使用准确率(accuracy)作为评价指标，本文使用准确率作为所有方法评价指标。为使本文的结果更具说服力，本文增加了召回率(recall)和F1值(F1 score)作为本实验的评价指标。

4 实验结果及分析

此节首先比较了不同方法在跨领域情感分类数据集上的分类结果，验证本文方法的有效性，还对不同方法的结果进行了统计测试。并验证了SSTDF方法中领域融合损失函数权重和迭代次数的变化对于跨领域情感分类结果的影响。

4.1 模型有效性分析

不同跨领域文本情感分类基线方法准确率比较结果如表 1所示，SSTDF方法的召回率和F1结果如表 2所示，由表 1和2可以得出以下结论：

1) 相比传统的迁移学习方法GAdaBEL、DSR、DTL和MSTL方法，SSTDF方法在准确率平均值上分别提高了0.051，0.031、0.088和0.149。同时，尽管DSR方法在“B→K”“E→B”“E→K”“K→B”“K→E”任务上取得了较高的准确率，但是在“D→B”“D→E”“D→K”任务上准确率不是很理想。SSTDF方法在“B→D”“B→E”“D→B”“D→E”“D→K”“E→D”“K→D”任务上均取得了最高的准确率。

2) SSTDF方法在E作为目标领域时的3个任务“B→E” “D→E”“K→E”上的准确率分别为0.856、0.827和0.836，可见在同一个目标领域条件下，不同源领域产生的迁移效果千差万别。SSTDF方法实验结果中，领域B和K相似度低，“B→K”任务的准确率为0.828；领域D和K相似度高，“D→K”任务的准确率为0.853，由此可见，领域相似性越高，迁移效果越好。

3) 在迁移过程中加入最小距离约束，可以保证迁移过程中领域一致性。例如SSTDF方法在平均准确率上比SST方法高0.031，除了有效共享句法结构信息和迁移语义信息外，在学习过程中应加入领域相似度度量，可以提高准确率。

4) SST方法和SSTDF方法分别取得了0.813和0.844的平均准确率，且SSTDF方法在召回率和F1上平均值分别为0.830和0.837，这表明深度迁移学习方法比传统的迁移方法有着较高的迁移效率。由表 2可以看出，SSTDF方法在12个情感迁移任务上召回率和F1均取得了优异的结果。在实验中，还发现目前不同的句法解析器都比较成熟，对模型效果的影响不大。

4.2 统计测试

本文使用Friedman检验实验结果的显著性分析。Friedman检验即“双向秩方差分析”，是多个(相关)样本齐一性的统计检验^[31]。Friedman检验结果ANOVA如表 3所示，其中SS是变量中每个数据点与变量平均值之间的差的平方和；DF是自由度；MS为均方，其值等于对应的SS除以DF；Chi-sq是卡方统计量的自由度。Chi-sq统计量是对联合零假设的检验。由表 3可以发现，P较小，表明实验结果有较强的差异性。

4.3 领域融合损失函数权重影响

为验证β对于跨领域情感分类准确率的影响，设置β∈[0, 1]，在“B→D” “B→E”“B→K”任务准确率变化如图 3所示。可以发现，随着的变化，准确率变化整体呈现先上升后下降趋势。“B→D” “B→E”“B→K”任务取得最高准确率时对应的β分别为0.8、0.7、0.9。当β=0时，SSTDF方法退化为SST方法。

4.4 迭代次数的影响

在联合学习和优化过程中，源网络和目标网络迭代次数是重要关键参数，本节讨论了不同迭代次数下跨领域情感分类准确率的变化情况。为验证源网络不同迭代次数下跨领域情感分类准确率的影响，测试了源网络迭代次数为200~1 600下“B→D”“B→E”“B→K”任务的准确率变化，如图 4所示。随着源网络迭代次数的增加，目标网络分类准确率整体呈上升趋势。

目标网络迭代次数为60~340下“B→D”“B→E”“B→K”3个任务的准确率变化如图 5所示。因为目标网络带标签数据量远小于源领域，所以迭代次数也小于源网络。针对测试数据，在220次迭代的时候，训练结果达到基本稳定。同时可以发现，目标网络由于源网络参数的初始化，在较少的迭代次数下能取得较高的情感分类准确率。

5 结论

本文从跨领域句法结构一致性学习的角度出发，提出了基于句法结构迁移和领域融合的跨领域文本情感分类方法。使用递归神经网络模型融合句法结构信息，并在句法结构迁移过程中加入了领域最小距离约束，保证在学习过程中源领域和目标领域距离尽可能相似。实验结果表明，该方法有效提高了跨领域情感分类准确率。该研究不仅可以丰富深度迁移学习理论，而且有望推动社会媒体主观性文本情感挖掘的研究。下一步将增加实验样本和中性样本，在更大的数据集下验证本文提出的方法。另外，尝试进行更细粒度的方面级跨领域情感分析。