随着数字科技的不断发展，获取信息变得越来越容易，于是便产生了处理这些信息的需求。作者识别(authorship identification)又称为作者归属(authorship attribution)，是通过某些可以表征文本风格或写作方式的特征确定作者身份的一类研究。作者识别是自然语言处理领域的一个重要的分支，与其他分支不同的是，作者识别关注的是文本中的元知识，即除内容之外能够从文本中获得的有关作者的身份信息或写作风格等知识^[1]。近年来，随着信息科学的发展，作者识别受到研究人员的广泛关注。

一般来说，作者识别通常分为2个步骤：提取文本特征和分类器识别。某些不需要构建特征集的方法如压缩方法则缺少提取文本特征这个步骤。针对文本特征的研究多集中于元素的n元组合(n-gram)，常见的组合是基于字符、单词和词性标签的n-gram^[2-4]，也有研究者选用标点符号n-gram或句法n-gram^[5-6]。在上述5种n-gram中，句法n-gram是经过句法解析后从句法树中提取的特征，反映了句子的结构信息；而其他4种n-gram是按照文本组成顺序提取的，反映的是文本的局部组合信息。大部分n-gram特征主要用于构建作者轮廓，通过计算文本之间的相似度进行分类^[7-8]；少部分n-gram特征可以直接作为神经网络的输入^[4]。n-gram特征在作者识别中具有较好的效果，然而其仅能反映特定元素在局部组合方面的风格差异。根据训练数据是否有标注，可以将作者识别的方法分为有监督方法和无监督方法。其中，有监督的方法又可以细分为两大类，第1类是传统的机器学习方法，通常搭配从文档中提取的离散特征如字符分布^[2]、功能词频率^[9]、句法结构^[10]等。这些离散的特征反映了文本在字符、词汇、句法等方面的统计信息。文[11]指出，字符和词汇能够较好地刻画写作风格，因而成为研究者研究得最多的特征。然而，离散的特征也有着明显的局限性，它们无法反映文本的顺序信息。第2类则主要基于神经网络模型，网络的输入通常是单词或字符的序列。文[4]将这种单词或字符的序列称为连续特征，该特征具有连续表示的优势，有效地利用了文本的顺序信息，可以在更高的维度上刻画作者风格，因而具有较大的研究意义。

Raghavan等^[12]根据不同作者撰写的文档构建概率上下文无关文法(probabilistic context-free grammar, PCFG)，对于每个测试文档，使用每个作者的语法进行解析，将其分配给能够产生最高可能性的PCFG对应的作者。该方法优于朴素Bayes模型等基线方法，同时具有一定扩展性。Sari等^[4]使用基于字符或单词的n-gram表示作为连续特征研究作者识别，将离散特征转化为连续特征，同时使用神经网络挖掘文本潜在的风格信息，获得了比离散特征更好的结果。Jafariakinabad等^[13]将每个句子表示为词性标签的序列，然后使用编码器从这些序列中学习句子的表示，接着将句子聚合成文档，同时使用注意力机制奖励那些对预测具有更大贡献的句子。该方法直接使用词性标签替代单词，利用句法循环网络挖掘潜在的句法信息。结果表明, 该方法的性能超过同架构的基于词汇的方法。Jafariakinabad等^[14]改进了文[13]方法，在原有的句法表示的基础上添加了词汇表示，并将词汇表示和句法表示连接成一个向量作为文档表示，在4个数据集上获得了较优的性能。Zhang等^[15]提取句子中每个单词对应的短语结构树中的路径，并结合字符特征利用卷积神经网络进行作者识别。该方法利用了短语结构信息，但仍然缺少词语之间的关系信息，仅靠短语结构路径嵌入得到的实验结果较差，较好的结果主要来源于字符特征的使用。

本文提出一种基于句法树节点嵌入的作者识别方法，将句法树节点表示成与之相关联的若干个依存句法组合的嵌入之和，挖掘句子中不同词语之间的关系信息，并利用注意力机制筛选那些对于区分不同作者或文本风格有帮助的信息。

1 句法节点嵌入

给定如下例句：

The Winter Olympics were successfully held in Beijing.

图 1为该例句的依存句法树图，其中圆圈代表树的节点，有向边为2个单词之间的依存弧，有向边旁边的字符串代表该有向边对应的依存关系，单词下方的字符串为该单词的词性标签。

可以看出，该句法树共有9个节点，对应句子的8个单词和1个标点符号。其中有1个根节点、2个内部节点以及6个叶子节点。不同节点对应的依存关系数量差别很大：叶子节点仅拥有1个依存关系，内部节点拥有2个或3个依存关系，而根节点拥有多达5个的依存关系。如果把叶子节点去掉，只保留根节点和内部节点，则例句变为“Olympics held Beijing”，仅靠剩下的3个单词，读者就可以获得原句的大部分信息，原句实际损失的信息很少。这说明，组成句子的单词，其依存关系数量能够在很大程度上衡量该单词对句子的贡献。更一般的规律是：树根支撑了整个句子结构，对句子的贡献最大；内部节点连接了树根和叶子节点，对句子的贡献次之；而叶子节点仅与内部节点相连，对句子的贡献最小。

本文认为作者的写作风格主要由其遣词造句的模式所决定，而遣词造句的模式则主要体现在依存句法树中与根节点和内部节点相关的依存关系上。因此，可以将节点以及其对应的依存关系向量化。节点“Olympics”对应3个依存关系，这3个依存关系的总和为单词“Olympics”对整个句子的贡献，直观的想法是用词性标签和依存关系的嵌入计算该贡献：

$\begin{aligned} \boldsymbol{C}= & \overline{\mathrm{NNPS}} \circ \overline{\mathrm{det}} \circ \overline{\mathrm{DT}}+\overline{\mathrm{NNPS}} \circ \overline{\text { compound }} \circ \overline{\mathrm{NNP}}+ \\ & \overline{\mathrm{VBN}} \circ \overline{\mathrm{nsubj}: \text { pass }} \circ \overline{\mathrm{NNPS}} . \end{aligned} $

(1)

其中：字符串“NNPS”“det”“DT”“compound”“NNP”“VBN”和“nsubj: pass”分别表示专有名词复数、限定关系、限定词、复合关系、专有名词单数、动词过去分词和被动名词性主语，字符串上面加横线表示该字符串对应的嵌入，不同嵌入之间的“ $ \circ $ ”表示点乘(按位相乘且不相加)。这种表示方式相当于利用依存关系把节点“Olympics”进行了嵌入。由于一个依存关系表示式包括两个词性标签和一个依存关系标签，其中2个词性标签属于同类型的元素，而词性标签和依存关系标签类型不同。为了体现这一差异，在计算节点嵌入时，可以把2个词性标签相加，所得的和再与依存关系标签相乘。按照这个思路，式(1)可以改为

$ \begin{aligned} \boldsymbol{C}= & (\overline{\mathrm{NNPS}}+\overline{\mathrm{DT}}) \circ \overline{\mathrm{det}}+(\overline{\mathrm{NNPS}}+\overline{\mathrm{NNP}}) \circ \\ & \overline{\text { compound }}+(\overline{\mathrm{VBN}}+\overline{\mathrm{NNPS}}) \circ \\ & \overline{\text { nsubj : pass. }} \end{aligned} $

(2)

更一般地，句子中任意一个单词对应的依存句法树节点的嵌入可以表示为

$ {\bf{embedding}}=\sum\limits_{i=1}^n\left(\overline{\operatorname{pos} 1_i}+\overline{\operatorname{pos} 2_i}\right) \circ \overline{{{\rm{s r}}_i}} \text {. } $

(3)

其中：n表示该单词的依存关系数量，$ \overline{\operatorname{pos} 1_i}、\overline{\operatorname{pos} 2_i}$和$ \overline{{{\rm{s r}}_i}}$分别表示该单词的第i个依存关系表示式中处于依存弧始端的词性标签嵌入、处于依存弧末端的词性标签嵌入和依存关系的嵌入。

2 网络模型

本文所采用的深度神经网络结构如图 2所示。该网络主要由句法注意力网络、句子注意力网络和分类器3部分组成。下面简单叙述数据流如何在网络中流动。以句子为单位对文本进行处理，句子进行分词标注和句法解析2类处理得到依存关系、词性标签和单词。接下来，依存关系、词性标签和单词经过嵌入层分别得到相应的依存关系嵌入、词性标签嵌入和单词嵌入，然后三者通过句法注意力网络得到句法感知向量。句法感知向量融合了依存关系、词性标签和单词等多种文本特征，是利用注意力机制生成的针对特定作者写作风格的向量表示。句法感知向量通过句子注意力网络得到句子的表示，然后通过一个分类器输出类别标签。

2.1 句法注意力网络

句法注意力网络包括2部分：第1部分的网络输入为依存关系三元组嵌入，输出为上下文向量，如图 3所示；第2部分的网络输入为单词嵌入和上下文向量，输出为句法感知向量，如图 4所示。

在第1部分，词性标签嵌入和依存关系嵌入分别通过一个线性网络，然后按照式(4)，同类型的变量相加，不同类型的变量相乘，结果再输入到sigmoid函数中得到注意力向量：

$\boldsymbol{a}_{i j}=\operatorname{sigmoid}\left(\left({\boldsymbol{V} \overline{\operatorname{pos}_i}}+{\boldsymbol{W} \operatorname{pos}_{i j}}\right) \circ {\boldsymbol{U} \overline{\operatorname{sr}_{i j}}}+\boldsymbol{b}\right) . $

(4)

为了便于特征嵌入的表示，使用$ \overline{\operatorname{pos}_i}$表示句中第i个单词的词性标签嵌入，$\overline{\operatorname{pos}_{i j}} $表示依存句法树中与第i个单词相邻的第j个单词的词性标签嵌入，$ \overline{\mathrm{sr}_{i j}}$表示句中第i个单词的第j个依存关系嵌入。$\boldsymbol{U} 、\boldsymbol{V}$和W为线性网络的权重矩阵，b为相应的偏置项。设$\boldsymbol{x}=\left(x_1, x_2, \cdots, x_n\right), x_i \in \boldsymbol{x} $函数为

$ \begin{gathered} \operatorname{sigmoid}(\boldsymbol{x})=\left(\operatorname{sigmoid}\left(x_1\right), \operatorname{sigmoid}\left(x_2\right), \cdots, \right. \\ \left.\operatorname{sigmoid}\left(x_n\right)\right), \\ \operatorname{sigmoid}\left(x_i\right)=\frac{\exp \left(x_i\right)}{\exp \left(x_i\right)+1} . \end{gathered} $

(5)

注意力向量a_ij经过softmax归一化后，与$\overline{\operatorname{pos}_{i j}} $经过W的结果点乘后求和，得到上下文向量：

$\boldsymbol{c}_i=\sum\limits_{j=1}^{N_i} \operatorname{softmax}\left(\boldsymbol{a}_{i j}\right) \circ\left(\boldsymbol{W} \overline{\operatorname{pos}_{i j}}+\boldsymbol{b}_1\right) . $

(6)

其中：b₁为相应的偏置项，N_i为句中第i个单词拥有的依存关系数量。softmax函数为

$\begin{gathered} \operatorname{softmax}(\boldsymbol{x})=\left(\operatorname{softmax}\left(x_1\right), \operatorname{softmax}\left(x_2\right), \cdots, \right. \\ \left.\operatorname{softmax}\left(x_n\right)\right) \\ \operatorname{softmax}\left(x_i\right)=\frac{\exp \left(x_i\right)}{\sum\limits_{j=1}^n \exp \left(x_j\right)} \end{gathered} $

(7)

句法注意力网络的第1部分使用依存关系组合构建c_i，而在第2部分中则使用c_i和单词嵌入来计算句法感知向量z_i。单词嵌入经过一个线性网络，结果通过函数tanh限定值域在-1到1之间。计算过程如下：

$ \boldsymbol{h}_i=\tanh \left(\boldsymbol{W}_1 \overline{\operatorname{word}_i}+\boldsymbol{b}_2\right) \text {. } $

(8)

其中：W₁为线性网络的权重矩阵，b₂为该线性网络的偏置项，h_i为中间变量，tanh函数为

$ \begin{aligned} & \tanh (\boldsymbol{x})=\left(\tanh \left(x_1\right), \tanh \left(x_2\right), \cdots, \tanh \left(x_n\right)\right), \\ & \tanh \left(x_i\right)=\frac{\exp \left(x_i\right)-\exp \left(-x_i\right)}{\exp \left(x_i\right)+\exp \left(-x_i\right)} . \end{aligned} $

(9)

计算出h_i后，h_i和c_i分别经过一个线性网络，二者相加后结果经过sigmoid函数得到

$\boldsymbol{g}=\operatorname{sigmoid}\left(\boldsymbol{U}_1 \boldsymbol{h}_i+\boldsymbol{V}_1 \boldsymbol{c}_i+\boldsymbol{b}_3\right) . $

(10)

其中：U₁和V₁为线性网络的权重矩阵，b₃为相应的偏置项。计算出g后，g与h_i点乘，再加上门函数变换与上下文向量c_i的点乘，即得到句法感知向量：

$ \boldsymbol{z}_i=\boldsymbol{g} \circ \boldsymbol{h}_i+(1-\boldsymbol{g}) \circ \boldsymbol{c}_i. $

(11)

2.2 句子注意力网络

句法注意力网络通过多维注意力机制，充分挖掘了句子中的各项关联信息，并得到了z_i，接下来是根据句法感知向量进行分类。本文仍然采用注意力网络提取句法感知向量中能够有效区分不同文本风格的特征，生成句子表示。z_i经过一个线性网络，再经过sigmoid函数，将函数值映射到0到1之间，然后通过第2个线性网络得到权重向量：

$ \boldsymbol{m}_i=\boldsymbol{U}_2 \operatorname{sigmoid}\left(\boldsymbol{W}_2 \boldsymbol{z}_i+\boldsymbol{b}_4\right)+\boldsymbol{b}_5 \text {. } $

(12)

其中：W₂为第1个线性网络的权重矩阵，b₄为第1个线性网络的偏置项；U₂为第2个线性网络的权重矩阵，b₅为第2个线性网络的偏置项。然后，m_i经过softmax函数归一化后，再与z_i点乘后求和，得到句子表示：

$ \boldsymbol{s}=\sum\limits_{i=1}^l \operatorname{softmax}\left(\boldsymbol{m}_i\right) \circ \boldsymbol{z}_i. $

(13)

其中l表示该句所包含的单词数。句子注意力网络的示意图如图 5所示。

2.3 分类层

分类层的结构比句法注意力层和句子注意力层简单很多，s经过一个线性网络和softmax函数，得到预测标签的概率分布：

$\widetilde{\boldsymbol{y}}=\operatorname{softmax}\left(\boldsymbol{W}_3 \boldsymbol{s}+\boldsymbol{b}_6\right) . $

(14)

其中：W₃为线性网络的权重矩阵，b₆为该网络的偏置项。对于模型训练，使用真实分布y和预测分布$\tilde{\boldsymbol{y}} $之间的Kullback-Leibler散度作为损失函数：

$\operatorname{Loss}(\boldsymbol{y}, \tilde{\boldsymbol{y}})=\frac{1}{N} \sum\limits_{k=1}^N y_k\left(\ln \left(y_k\right)-\ln \left(\tilde{y}_k\right)\right) . $

(15)

其中N表示y的维度。

3 实验部分 3.1 数据集介绍

本文选用CCAT10、CCAT50、IMDb62和中文小说数据集进行实验，表 1展示了这4个数据集的统计信息。

1) CCAT10数据集^[16]是路透社语料库第1卷(Reuters Corpus Volume 1, RCV1)的一个子集。它由10位作者的新闻专线报道组成，每位作者有100篇文档，共1 000篇文档，内容涉及公司或产业新闻。

2) CCAT50数据集^[16]也是RCV1的子集，是比CCAT10规模更大的数据集，总共有来自50位作者的5 000个文档，其中每位作者100篇文档。数据集的主题与CCAT10一致。

3) IMDb62数据集^[17]包含互联网电影资料库(internet movie database, IMDb)中62位超级用户的62 000条电影评论和17 550个留言板帖子。其中每个用户撰写了1 000条电影评论以及不同数量的留言板帖子，涉及的主题包括电影、电视、音乐等。

4) 中文小说数据集^[18]包含莫言、路遥、贾平凹等10位作家的多部小说作品(共48.7 MB)，这些作品被集中起来然后在实验前进行分割。

3.2 实验过程

以句子为单位进行预处理，使用stanford parser 4.2.0(https://stanfordnlp.github.io/CoreNLP/)获得单词对应的词性标签以及依存关系序列。然后使用预训练模型实现单词的向量化，其中英文预训练模型(https://www.cnblogs.com/taolusi/p/9249578.html)是在Google新闻数据集上训练的向量，包含300万个单词和短语，向量维度为300；而中文预训练模型(https://ai.tencent.com/ailab/nlp/zh/embedding.html)是在新闻、网页、小说等文本上训练的向量，包含200万个单词和短语，向量维度为200。本文使用pytorch的nn.Embedding()函数(https://pytorch.org/docs/stable/generated/torch.nn.Embedding.html)来实现词性标签和依存关系的向量化。该嵌入方式是从索引到固定维度向量表示的映射，并未使用预训练模型。之所以采用差异化的嵌入方式是因为本文希望c_i仅包含句法信息，而z_i则同时包含句法信息和词汇差异信息。因为与词汇相关的信息能够在更高维度上刻画作者的写作风格。

对于CCAT10、CCAT50和IMDb62数据集，直接使用其全部语料；而对于中文小说数据集，首先把同一位作家的多部作品进行合并，按照每个文档1 000字的长度进行分割，然后每位作者选择1 000个文本进行实验。因此，对于中文小说数据集来说，实际参与实验的语料有31.1 MB。对于中英文文本，实验集和测试集的数据数量占比分别为70%和30%，然后根据需要再从实验集中划分出一部分用于交叉验证。对于CCAT10、CCAT50和IMDb62数据集，本文除了跟前人的研究结果作对比，还会验证不同作者数量对模型性能的影响。本文比较不同作者数量对作者识别的影响，此外针对CCAT10和中文小说数据集，还会比较选用不同类型的节点对作者识别的影响。为了更好地训练模型，使用网格搜索来确定不同层的dropout、小批量大小、周期数、学习率等参数的最优组合。

4 结果及分析

表 2展示了11个模型在3个英文数据集上的实验结果，使用正确率来进行评估。这些模型可以分为单特征模型和多特征模型。其中单特征模型通常较为简单，搭配常见的机器学习分类器即可完成识别过程。其优点是计算简便，而缺点是难以在更高维度上刻画作者的写作风格，因而正确率往往较低。而多特征模型可以从不同维度上刻画作者的写作风格，因此通常会有更高的正确率。前3个模型属于典型的单特征模型，均使用字符n-gram特征，区别是特征的组合方式不同。它们的正确率偏低。后8个模型均属于多特征模型。模型4拥有多种不同类型和不同维度的特征，由于采用无监督的方式进行训练，所以正确率通常不高。模型5涉及字符、词汇等特征，所选的结果是利用字符特征得到的最佳结果。模型6基于单词和字符的n-gram，所获得的最佳结果来源于字符n-gram。值得注意的是，单词n-gram的加入可以提高该模型在CCAT10上的性能。模型7同时使用了字符特征和句法特征，获得了较高的正确率，并且高性能主要由于字符特征的使用。模型8同时使用了风格特征和混合特征，这使得其训练少量周期就能达到很高的正确率，训练效率远超其他模型。然而，模型8适合短句数据集以及数量多但相对平衡的文本语料，而IMDb62数据集的标准差较大，因此模型8在IMDb62数据集上并未取得最佳结果。模型9同时使用了统计风格特征、内容特征、句法特征和语义特征，这使得其特征集庞大。而该方法使用简单的逻辑回归即取得了不错的结果，这说明在刻画文本风格方面，人为增加特征集的数量和维度可能比单纯分类器学习的效率更高。模型10和本文模型均同时使用了词汇和句法特征，并使用注意力网络来捕获文档结构信息。不同之处在于，前者使用词性标签的顺序排列刻画句法结构，而后者使用依存句法组合刻画句法结构。前者模型便于计算并且正确率较高，而可解释性较差；而后者模型正确率相对较低，但可解释性更强。从整体上来看，本文模型在3个英文数据集上的性能位列第2或3位，综合性能优秀，并且依存句法组合的引入也为模型的解释提供了更多的方向。

图 6和7分别展示了本文模型在英文和中文数据集上不同作者数量下的正确率。

可以看出，随着作者数量的增多，本文模型在不同数据集上所对应的正确率均整体呈现出下降的趋势，在某些数据点上出现了作者数量增多而正确率不降反升的情况。这说明本文模型对不同作者的写作风格的捕获能力差异较大。同时，将本文模型与BertAA^[24]对比，如表 3所示，其中BertAA的数据来源于文[24]。可以看出，本文模型的正确率在5位作者的情况下略低于BertAA，而在10、25和50位作者的情况下均高于BertAA。

一个句子对应的依存句法树中有根节点、内部节点和叶子节点3类节点，它们在句法树中发挥的作用不同。为了探究不同类型的节点对作者识别结果的影响，本文在CCAT10数据集和中文小说数据集上使用不同类型的节点进行作者识别，正确率如表 4所示。

当使用全部节点时，正确率是最高的；使用内部节点和叶子节点次之。从另一个角度来说，当获得了所有内部节点和叶子节点信息时，根据这些信息就可以推理出根节点的信息，因此只缺少根节点的信息对识别结果影响并不大。值得注意的是，当由“内部节点”变为“根节点+内部节点”时，在CCAT10数据集上的正确率绝对提升了1.74%，而在中文小说数据集上的正确率仅绝对提升了0.48%。类似的情况也出现在由“内部节点+叶子节点”变为“全部节点”时，这说明对于CCAT数据集来说，根节点的影响比中文小说数据集的影响更大。出现这种情况的原因可能在于，CCAT数据集的句长通常较长，因此根节点承接了更多的信息，这意味着缺少根节点会损失更多的信息。另一方面，CCAT数据集每位作者所拥有的文本数量仅是中文小说数据集的1/10，较少的数据加大了模型捕捉特定作者写作风格的难度。

仅使用根节点和内部节点，在CCAT10数据集和中文小说数据集上的正确率与使用全部节点相比，分别绝对下降了14.07%和9.98%。在长句子中，叶子节点较多，然而从实验结果可以推断，叶子节点的实际作用并不大，仅靠根节点和内部节点就可以支撑依存句法结构，从而提供大部分句法信息。而当仅使用内部节点时，在2个数据集上的正确率比仅使用叶子节点时都高。这说明，内部节点是比叶子节点更重要的信息来源。根据上面的分析也可以得出，在没有使用叶子节点时，根节点的作用会被放大。表 4表明，在设计注意力网络时，可以有意识地提高那些可能提供更大贡献的节点权重。

5 结论

本文提出了一种基于句法树节点嵌入的作者识别方法，将句法树的节点表示成其所有依存弧对应的嵌入之和，通过这种方式将句法信息以及单词之间的关联信息嵌入到节点表示中。然后，构建了句法注意力网络，该网络把词汇信息和句法信息嵌入到一起形成句法感知向量。句法感知向量融合了依存关系、词性以及单词等特征，是借助注意力机制生成的针对特定作者写作风格的向量表述。接着，通过句子注意力网络抽取句法感知向量中那些可以用于区分不同作者的特征生成句子表示，最后，通过分类器进行分类。在3个英文数据集的实验中，本文模型的性能位列第2或3位。这说明注意力机制在特征整合方面的有效性。更重要的是，依存句法组合的引入为模型的解释提供了更多的方向。

下一步可以尝试：优化句法注意力网络的结构，减少网络节点，适当调整权重分配，比如给那些可能提供更大贡献的节点配置更高的权重；句子注意力网络改用其他网络结构，研究不同网络的搭配；在数据集上的实验进一步细化对某项特征的研究。