神经网络技术的飞速发展使得人们越来越关注模型本身的安全问题^[1-3]。随着GPT-2(generative pre-trained transformer-2)^[4]、BERT(bidirectional encoder representations from transformers)^[5]、ChatGPT(chat generative pre-trained transformer)^[6]等预训练语言模型的出现，再度将业内学者的目光吸引到了自然语言处理(natural language processing, NLP)领域的对抗样本生成。对抗样本生成起源于图像领域^[7]，指通过在原始图像中添加细微扰动，生成看似无差异但能诱导神经网络模型产生错误分类的图像的技术。而文本对抗样本生成与图像对抗样本生成类似，主要作用于NLP领域，不仅会影响分类模型的准确率，也威胁着关系抽取和文本生成等下游任务的安全^[8]。

目前，中文对抗样本生成方法可以归结为替换、删除字词^[9-10]、词序调整^[11]等。此类方法生成的对抗样本在一定程度上影响了模型的分类结果，但依旧存在扰动幅度大，语义空间中的信息偏差大，致使样本易被识别的缺陷。故亟需一种能够最大程度影响模型分类精度，且具有高语义保留的高质量中文对抗样本生成方法，这一直是业内学者的研究热点。

无论图像或文本的对抗样本生成，均是通过分析原始样本，进而生成与原始样本视觉上类似但机器会识别出较大信息偏差的对抗样本。对抗样本的生成过程与扩散模型^[12-13]高度类似。扩散模型通过模拟自然界中常见的扩散过程来合成新数据，通过向噪声数据中添加细节的扩散过程来生成复杂数据，再通过反向逆扩散生成新的数据。扩散模型的有效性已经在目标检测^[14-15]和自然语言处理^[16-17]等多个领域得到验证。

针对目前中文对抗样本生成方法中存在的问题，本文受Gong等^[16-17]工作的启发，将扩散模型引入到中文对抗样本生成中，提出基于攻击引导扩散的中文对抗样本生成方法DiffuAdv。DiffuAdv通过在模拟文本对抗样本攻击的过程中关注数据分布的细微变化，进而强化了生成对抗样本的扩散机制。利用从原始样本到对抗样本的变化梯度作为导向条件，不仅揭示了样本之间的细腻差异，也为模型学习提供了直接的方向。在模型的预训练阶段，利用变化梯度来引导模型的逆扩散过程，确保了生成的对抗样本既自然真实又具有高效的攻击能力。针对3个公开数据集使用8种对抗样本生成方法生成对抗样本，在文本情感分类、因果关系抽取和情感原因对抽取任务上，分别采用4种分类或抽取方法进行对比实验，验证了本文方法的先进性。同时，通过消融实验证明了利用原始样本与原对抗样本之间变化梯度指引逆扩散过程来生成新对抗样本的有效性。

1 相关工作 1.1 中文对抗样本生成

中文对抗样本方面，张顺香等^[8]针对中文中存在的多音字提出一种基于多音字替换的对抗样本生成方法PGAS，能够生成与原始样本外形一样但信息不同的对抗样本，但由于样本存在多音字的概率比较低，致使生成的对抗样本数量稀少；韩子屹等^[9]提出一种在对抗样本生成的不同阶段，对对抗样本进行视觉相似度和语义相似度进行约束的对抗攻击方法MCGC；夏倪明等^[10]则全面分析表音文字和意音文字之间的差异，结合汉语的构字法、字音、字形、认知语言学等先验知识，提出一种基于启发式算法的对抗样本生成方法BSCA；Song等^[11]提出一种基于差分进化的两阶段频域生成算法，用于黑盒对抗样本的生成，旨在提高对抗样本的生成效率和有效性；Liang等^[18]依据输入数据的词向量梯度来选择删除或插入位置；Ebrahimi等^[19]最早使用同义词来替换原词进行对抗样本生成，但是由于原句能替换的同义词较少，导致生成的对抗样本数量少；Liu等^[20]通过分析中文和英文对抗样本生成方法的特点，提出一种结合字形和字音的对抗样本生成方法Argot。但上述方法均存在生成对抗样本质量不高且成功率较低的问题。

1.2 扩散模型

扩散模型作为一种强大且通用的生成式人工智能技术，在计算机视觉(computer vision，CV)、NLP等领域都取得了巨大的成功^[21]。利用扩散模型生成较为完整文本的工作是Gong等提出的DiffuSeq^[16]和DiffuSeq-v2^[17]方法。Gong等针对扩散模型在连续信号中的成功应用，借助条件扩散模型^[22]，提出基于Seq2Seq文本生成任务的扩散模型。通过模拟如何从无序状态生成具有特定结构的文本序列，解决了扩散模型难以进行文本生成的难题。在条件引导中，Ajay等^[23]提出决策扩散(decision diffuser)使生成结果呈现有条件的轨迹，其将奖励、限制或技能作为引导并增强Diffuser的性能。胡忠义等^[24]提出改进扩散模型的方法来生成中文文本。而陈子民等^[25]则是将条件扩散模型应用到图像分类的对抗样本防御中。何琨等^[26]提出了基于引导扩散模型的自然对抗补丁的生成方法，与文本对抗样本生成有着异曲同工之处。上述扩散模型的相关工作均证实了扩散模型在文本对抗样本领域有着巨大的发展空间。

基于中文对抗样本生成和扩散模型在条件引导方面的研究，可以发现利用条件引导生成中文对抗样本具有坚实的理论基础。因此，可以通过原始文本与对抗样本之间的变化信息来生成更有效的中文对抗样本。

2 本文方法 2.1 问题定义

设X为原始中文文本映射出的文本输入空间，x_ori为X中的原始样本，Y为对应的标签空间，f: X→Y为训练好的学习模型。若x_ori∈X且f(x_ori)=y，则认为该分类结果正确。而中文对抗样本生成的目标是通过找到扰动$ \epsilon$，使得存在与x_ori看起来无差异或者差异很小的对抗样本x_adv满足x_adv= x_ori+$ \epsilon$，使得$ f\left(x_{\text {adv }}\right)=\hat{y}$且$ \hat{y} \neq y$。$ \epsilon$表示添加到x_ori的扰动信息。$ \hat{y}$是x_adv被模型f分类出的错误标签。为了保证对抗样本生成质量，要求在保证高攻击成功率的情况下保证人工阅读无障碍，通常$ \epsilon$会受到约束，以确保x_adv与x_ori尽可能地相似。

2.2 DiffuAdv模型

本文提出的基于攻击引导扩散的中文对抗样本生成方法DiffuAdv框架如图 1所示。

训练阶段，针对输入的样本数据x进行数据捕获及特征学习，x包括x_ori和x_adv。DiffuAdv首先捕获并学习x_ori的数据分布，并分析能进行对抗样本攻击的x_adv是如何偏离该分布的。具体的，DiffuAdv将x_ori与x_adv转化为一个连续空间的表示形式，并在这个空间中模拟对抗样本生成过程(由x_ori转变为x_adv)时的扩散概率p_θ(x_t－1|x_t, |y)。在模拟阶段完成后，逆向扩散过程开始，模型逐渐从噪声状态恢复成清晰的文本表示。此过程受条件引导控制，使用变化梯度进行引导，以确保生成的对抗样本具有高攻击成功率。

在逆扩散过程中首先计算目标模型的损失梯度。根据分类器模型计算出对抗样本生成时的损失函数相对于输入样本x_ori的梯度$ g=\nabla_{x_t} L\left(\theta, x_t, y\right)$，即x_adv与x_ori之间的渐变梯度信息。利用计算出的梯度信息g来构造对抗扰动，即在梯度上升方向上对x施加小的、精确计算出的$ \epsilon$。最后将$ \epsilon$作为指导条件，嵌入到扩散模型的逆扩散过程中，这样在每一步逆扩散中，样本都朝着增加攻击性的方向变化。通过不断重复扩散和反向过程，并逐步引导去噪，模型最终生成攻击性强且可读性高的x_adv。一个典型的对抗样本案例如表 1所示。

从表 1中可以看出，当对原始句子“他听着音乐，一边随着节奏摇摆。”进行情感分类时，分类结果为积极，但是由其生成出的对抗样本“他听着音乐，—边随着节奏揺摆。”将“摇”逐步扩散变为“揺”，“一”扩散变为了“—”。再对其进行情感分类时，情感极性发生了变化。在原始样本中，“摇”具有积极的情感含义，而当“摇”被扩散为“揺”后，句子整体含义未变，但机器解析其嵌入向量时获取的含义不同，从而影响情感分类结果。这一典型案例说明了本文方法的有效性。

2.2.1 数据捕获

DiffuAdv要借用g来指导逆扩散过程，就必须对x_ori的数据分布p_data(x_ori)进行捕获并学习，并明确x_adv如何偏离该分布。

设x所在的数据集D包含了大量x_ori和x_adv，其中x_ori均服从分布p_data(x_ori)。DiffuAdv的首要任务是通过学习D来理解并模拟该分布，其通过最大化D的似然度完成，即通过最大化以下目标实现：

$ L_{\text {ori }}(D ; \theta)=\frac{1}{|D|} \sum\limits_{x_{\text {ori }} \in D} \ln p_{\text {model }}\left(x_{\text {ori }} ; \theta\right) . $

(1)

其中p_model(x_ori; θ)代表了由模型参数θ定义的文本数据分布。

同时，要了解能成功实现样本攻击的x_adv如何偏离x_ori的分布，需要对对抗样本x_adv的数据分布进行学习。对任意的x_adv都需要评估其与_ori的差异，通过度量x_adv在模型分布p_model下的似然度得到，计算公式为

$ L_{\mathrm{adv}}(D ; \theta)=\frac{1}{|D|} \sum\limits_{x_{\mathrm{adv}} \in D} \ln p_{\mathrm{model}}\left(x_{\mathrm{adv}} ; \theta\right) . $

(2)

x_adv与x_ori之间的分布有着显著差异，故仅需比较L_ori(D; θ)与L_adv(D; θ)之间的不同，即可识别出二者分布的偏离程度。

2.2.2 扩散训练

扩散训练阶段是DiffuAdv的关键部分。该阶段的目标是训练一个扩散模型来学习和模拟数据的分布特征，以及攻击过程中可能出现的扩散概率。先将文本数据由离散表示形式转换为连续空间中的表示，然后在此空间模拟概率扩散。整个扩散训练阶段包括两个部分，分别是正向扩散过程以及受攻击引导的逆向生成过程。

1) 正向扩散过程。

正向扩散首先向输入数据x_ori引入噪声，直至数据分布达到均匀分布。此过程用Markov链来描述。具体来说，用q(x_t|x_t－1)来描述时间步(t－1)的数据x_t－1扩散到时间步t的数据x_t。该过程由加性Gauss噪声控制，计算公式为

$ q\left(x_t \mid x_{t-1}\right)=\mathcal{N}\left(x_t ; \sqrt{1-\beta_t} x_{t-1}, \beta_t \boldsymbol{I}\right) . $

(3)

其中：β_t为噪声增量参数，I代表单位矩阵。随着时间步的推移，噪声比例逐步增加，受控的参数β_t确保了数据分布从p_model逐渐过渡到均匀分布。

2) 逆扩散过程。

逆扩散阶段也可称为逆向生成阶段，负责逐步从噪声状态恢复成样本状态。这一过程同样依赖Markov链逆转，具体是指使用似然度p_θ(x_t－1|x_t)来估计给定x_t的条件下x_t－1的条件概率分布。逆向扩散过程中，p_θ(x_t－1|x_t)由神经网络参数化，其中参数θ在训练过程中通过最大化p_θ(x_t－1|x_t)来学习。

$ p_\theta\left(x_{t-1} \mid x_t\right)=\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \varSigma_\theta\left(x_t, t\right)\right) . $

(4)

其中μ_θ(x_t, t)和Σ_θ(x_t, t)分别表示逆向扩散过程中由参数θ控制的均值和协方差。

3) 攻击引导模块。

在对抗样本的攻击引导中，为了使得生成的样本不仅从视觉上类似于真实样本，而且能够导致分类错误，需要对逆扩散的扩散方向进行引导修正。攻击引导模块(attack-guided module)负责在逆扩散过程中紧密关注模型逆扩散生成阶段的状态，确保在去除噪声的同时引入具有意图性的扰动。

该模块将g作为条件输入，生成的对抗样本与原始样本相似但有所不同，从而使下游任务结果发生改变。该引导条件确保逆扩散过程能够沿着提高攻击成功率的方向进行，具体可通过计算θ实现。

$ \begin{aligned} \theta^*= & \underset{\theta}{\operatorname{argmin}} E_{q\left(x_t \mid x_0\right)} \sum\limits_{t=1}^T \| f_\theta\left(x_{t-1} \mid x_t, \right. \\ & \left.\nabla_{x_t} L\left(\theta, x_t, y\right)\right)-x_{t-1} \|_2^2 . \end{aligned} $

(5)

其中：E_q(xt|x0)表示在给定初始样本x₀的条件下，扩散过程最终状态x_t的期望；f_θ为由模型参数θ决定的条件转移函数，根据扩散样本x_t及g来估计前一时间步的样本x_t－1。

时间步(t－1)生成的对抗样本可以表示为

$ x_{\mathrm{adv}, t-1}=\mu_\theta\left(x_t, t\right)+\sigma_t \odot_\epsilon+\eta \nabla_{x_t} L\left(\theta, x_t, y\right) . $

(6)

其中：$ \epsilon \sim \mathcal{N}(0, I)$是噪声项，σ_t为缩放参数，η表示学习率。σ_t⊙$ \epsilon$表示在均值μ_θ(x_t, t)的基础上添加的随机噪声。⊙表示逐元素乘积，每个$ \epsilon$乘以对应的σ_t，得到实际添加的噪声量。

DiffuAdv通过结合正向扩散过程引入的噪声和条件引导模块的引导条件，令逆向扩散过程能够对原始数据分布进行精准的估计，并向其引入目的性强的扰动来生成对抗样本。通过调整和优化模型参数，使得在每一步的逆向扩散过程中，都能精准地估计并追踪数据的原始分布。同时使对抗样本是在约束下生成的，以确保生成的对抗样本要同时满足与原始样本高度相似且拥有高攻击成功率的特性。

2.2.3 损失函数

损失函数L(·)需要在原始样本和对抗样本上同时优化，从而提高模型在对抗样本上的鲁棒性，则综合损失函数表示为

$ L_{\text {total }}=L\left(\theta, x_{\text {ori }}, y\right)+\lambda L\left(\theta, x_{\text {adv }}, y\right) $

(7)

其中λ是超参数。

3 实验结果及分析

为了验证本文所提DiffuAdv方法的有效性，对文本情感分类^[27]、因果关系抽取^[28]及情感原因对抽取(ECPE)^[29-30]等3个任务进行实验。

3.1 实验准备 3.1.1 数据集

实验针对3个任务，选用3个公开的数据集：酒店评论数据集(https://github.com/m220745/keras-sentiment-analysis)、金融因果关系抽取数据集(https://tianchi.aliyun.com/dataset/dataDetail?dataId=110901)、情感原因对抽取数据集(https://paperswithcode.com/dataset/ecpe-xia-and-ding-2019)。对这3个公开数据集分别抽取出3 000条样本，构成原始数据集，然后均按照7∶1∶2的样本数比例划分为训练集、验证集和测试集。

3.1.2 实验设置

实验在云服务器上进行，其中CPU和GPU分别为Intel Xeon CPU E5-2680 v4 64GB 56核和Tesla P4(8GB显存)。默认扩散步长为1 000，批处理大小为16。文本处理方式按照文[16]的方式进行。

3.1.3 评价指标

本文采用准确率(Acc)和困惑度(PPL)^[31]进行生成对抗样本有效性的度量。其中，Acc用于观察所生成的对抗样本在不同任务上对不同模型所造成的影响；PPL用于衡量生成对抗样本句子合理性程度，其值越低，表示生成的文本越接近自然语言文本，合理性和可读性越高。

3.2 对比方法

为验证DiffuAdv方法的有效性，将其与中文对抗样本生成领域的相关方法进行比较，具体对比方法如下：

1) DiffuSeq^[16]：应用扩散模型的思想来生成连贯和高质量的文本。

2) CWC^[32]：主要针对形近字替换，运用ConvAE对汉字进行视觉向量嵌入，生成形近字的替换候选池；并使用USE语义约束来确保对抗样本的语义不偏离。

3) GA^[33]：利用同义词和近义词替换并进行句法结构调整来生成对抗样本，为了使影响效果最大化，还添加了语境干扰来误导模型。

4) PGAS ^[8]：字符级的中文对抗样本生成方法，主要使用多音字来对原始样本中的中文进行替换。

5) WHD^[34]：提出一种新的词语重要性计算算法，并运用同音词替换生成对抗样本，在黑盒模式下进行测试，增强了分类模型的鲁棒性。

6) CWA^[35]：依据文本数据的语义和语法特征，找到对分类结果影响较大的关键词，并通过同义词替换、词序调整等技术改变关键词，生成对抗样本。

7) BERT-ATTACK ^[36]：针对以BERT为代表的预训练语言模型进行快速有效地生成对抗样本。

3.3 攻击实验

在不同任务上分别使用4种分类或抽取方法进行实验，对Acc进行比较。首先，分类或抽取方法在原始数据集的测试集上实验，获得Acc。然后，使用对比的7种攻击样本生成方法分别对原始数据集的样本生成对抗样本，构成对抗样本数据集，也划分为对应的训练集、验证集和测试集；分类或抽取方法在对抗样本数据集的测试集上实验，获得Acc。最后，针对原始数据训练集和验证集中的每条样本，从其对应的7条对抗样本中随机挑选出1条，与原始样本构成样本对，组成2 100条样本对的训练集和300条样本对的验证集，用于DiffuAdv调参，调参后使用DiffuAdv对原始数据测试集生成对抗样本测试集，供分类或抽取方法实验，获得Acc。

由表 2可以看出，在文本情感分类任务上不同分类方法在原始数据测试集上Acc均超过93%，这说明分类方法在情感分类任务上表现出色。然而，在对抗样本数据测试集上，各分类方法的Acc均明显下降，这表明对抗样本对分类方法产生了显著的干扰。其中，DiffuAdv表现尤为突出，攻击效果显著。

表 3展示的是在因果关系抽取任务上，不同抽取方法在不同测试集上的Acc。可以发现，包括DiffuAdv在内的8种对抗样本生成方法均会导致4种抽取方法的Acc下降，表明它们能够有效干扰抽取方法的性能。DiffuSeq对4种抽取方法的攻击效果最弱。PGAS和CWC对4种抽取方法的攻击效果相对不稳定。DiffuAdv对文[40]方法Acc的降低比例比对其他3种抽取方法的小，说明对文[40]方法的攻击效果最弱。

表 4展示了在情感原因对抽取任务上，不同抽取方法在不同测试集上的Acc。可以发现，各抽取方法在不同对抗样本测试集上的Acc比在原始数据测试集上均下降。PGAS对文[43]方法导致的Acc下降比例最大，而对其他3种抽取方法的攻击效果均弱于DiffuAdv。从不同抽取方法的Acc下降比例来看，CWA和PGAS的攻击效果相对稳定，其他方法的攻击效果相对不稳定，其中WHD最不稳定。DiffuAdv对4种抽取方法上的攻击稳定性仅比CWA和PGAS稍弱，这表明该方法不仅能够有效实施攻击，也能保持较好的鲁棒性。

3.4 消融实验

DiffuAdv方法在3个任务上的攻击实验验证了其有效性，但无法确定其效果是否由攻击引导模块产生，为此设置消融实验进行验证。实验依旧在3个任务上进行。消融实验结果见表 5，表中实验结果均选取各个任务中多种分类或抽取方法的最优值。

由表 5可知，添加了攻击引导模块后，所有3个任务领域的分类或抽取方法的性能都显著下降。这种性能下降表明，攻击引导模块能够有效地利用所生成文本中的干扰信息，通过识别并放大这些干扰信息，使得生成的对抗样本能够更强地干扰分类、抽取方法的预测结果，从而对原任务的结果产生更大影响。结果证明了DiffuAdv在生成高质量对抗样本方面的有效性。

3.5 样本生成质量度量

为了更好地衡量对抗样本生成的质量，将DiffuAdv与其他几种生成方法进行PPL比较。表 6给出了不同方法在3个任务上各生成1 000条对抗样本的平均PPL。

从表 6可以看出，不同方法生成的对抗样本的平均PPL存在一定差异。平均PPL越低，表示模型生成的文本越接近自然语言文本，合理性和可读性越高。DiffuAdv生成的对抗样本平均PPL值最低，说明其生成的对抗样本在合理性和可读性方面优于其他方法，在语言流畅性和自然度上更接近真实文本。

总体来看，DiffuAdv能够为下游任务提供更具挑战性且自然的对抗样本。虽然各方法的平均PPL相差不大，但在对抗样本生成的背景下，细微的平均PPL差异也可能带来显著的性能提升和更自然的文本体验。

4 结论

本文提出了基于攻击引导扩散的中文对抗样本生成方法DiffuAdv。通过利用原始样本与对抗样本之间的渐变梯度作为引导条件，来指导扩散模型生成新的对抗样本。实验结果表明，DiffuAdv相比已有方法，不仅攻击成功率高，生成样本可读性也强。该方法拓宽了扩散模型在文本生成领域的应用方向，为对抗样本生成提供了新的技术思路，但由于扩散模型的复杂性，依旧存在生成对抗样本速度较慢的缺陷。下一步将根据样本的复杂性动态调整生成过程中的计算负荷，以加快对抗样本生成的速度。