为了克服“信源信道分离设计”所导致的“悬崖效应”，基于信源信道联合编码的端到端“一体化”设计思路成为语义通信的主流选择[12]。随着深度神经网络(deep neural network, DNN)被应用于构建联合编解码器，以DeepJSCC为代表的研究工作[13]开辟了深度学习赋能信源信道联合编码传输的新思路。然而，这些工作本质仍然属于“判别式通信范式”，即通过最小化符号之间的均方误差来优化判别式深度学习模型的率—失真权衡，并未构成真正意义上的语义通信[14]。例如，面向视觉数据传输任务时，最小化重建样本与信源之间的“像素级”均方误差通常未必增强用户的感知体验，反而会产生质量瑕疵，例如过平滑纹理、局部模糊等。尽管保护了内容一致性，但过度保留了冗余信息，难以较好地满足虚拟现实(virtual reality, VR)、超高清在线直播等用户感知体验优先的高带宽流媒体数据传输业务的需求。
生成式语义通信范式使用深度生成模型建模数据先验分布，隐式地提取信息的上下文语义。具体而言，判别式的符号匹配操作被生成式的分布对齐取而代之，最小化“像素级”均方误差的率—失真优化转变为综合度量“上下文”分布距离的率—失真—感知权衡。在此背景下，深度生成建模方法的选取直接影响到压缩传输性能。例如，NTSCC采用变分自编码器(variational autoencoder, VAE)[20]进行非线性概率建模，支持高效的变速率联合编码传输，但生成建模能力受限于模型结构，难以适应复杂的无线信道环境并重建高保真的图像。HiFiC[21]+LDPC传输方案使用生成对抗网络(generative adversarial network, GAN)[22]隐式建模信源概率分布，在率—失真—感知权衡优化的压缩编码框架下实现了高保真生成式通信，但GAN难以稳定训练，并且采用确定性解码的方式重建样本[14]，其拟合分布和提取语义的能力有限。扩散模型被认为是目前拟合视觉数据分布能力最强的深度生成模型之一，将扩散模型应用于生成式视觉语义通信已成为研究趋势。
扩散模型赋能的生成式视觉语义通信的现有相关工作，按照研究思路不同，可分为2类：1) 训练或微调条件扩散模型，结合文本提示词等条件在接收端生成语义一致的样本。2) 将通信过程建模为逆问题，在接收端利用预训练扩散模型的采样过程恢复样本细节。
思路1的代表性工作有Gen-SC[23]和CDM-JSCC[24]，前者预解析传输图像对应的注释(caption)作为携带语义信息的文本提示词，并将该提示词输入至接收端微调后的隐空间扩散模型(latent diffusion model, LDM)[25]以生成对齐信源语义的样本；后者使用经由联合编码器压缩后的有损图像引导源空间(像素空间)的条件扩散模型生成内容与信源相近的样本，间接传输了语义信息。然而，Gen-SC生成的图像内容相较于信源易产生较大偏差；CDM-JSCC存在条件扩散模型难以训练的问题，并且对恶劣的无线传输环境较为敏感，一旦联合编解码器未能正常工作，模型的重建结果将极端异常。上述问题产生的主要原因是该研究思路试图人为构造语义条件以控制扩散模型的生成过程，但由于条件构造不充分或模型性能不完备，很难适应动态变化的信道环境。
思路2紧密围绕通信的核心目标：在接收端尽可能高保真复现发送端选取的消息[1]，将端到端通信过程建模为数学中的逆问题，以经由信道传输后的退化信号作为观测条件，并结合该观测条件使用预训练的扩散模型进行后验采样以求解该逆问题，从而最大限度地高保真恢复信源，确保收发两端传输内容的语义一致性。该研究思路面对动态变化的环境，无需重新训练条件生成模型，具备较强的适变能力和较好的应用前景，有效提升了语义通信系统的压缩效率与传输韧性。
上述工作均利用扩散后验采样实现了生成式视觉语义通信，验证了思路2的可行性和优越性。因此，本文重点以逆问题的求解思路总结扩散模型赋能生成式视觉语义通信的一般方法与关键技术。首先，从得分匹配的视角介绍扩散模型的基本概念与数学原理；其次，进一步阐述扩散模型分别在生成式图像压缩和传输中的应用；接着，分析基于扩散模型的生成式视觉语义通信存在的领域特定挑战，并构建解决这些挑战的普适性技术框架；最后，介绍亟须关注的开放性问题，以期启发后续相关研究。
1 扩散模型简介
扩散模型实质是模拟了受随机外力扰动的动力学系统克服阻力并恢复稳定状态的过程，该过程经常通过向数据中逐步添加并反向去除随机噪声等效实现。该过程因类似分子从高浓度区域向低浓度区域热运动的扩散现象而得名。
1.1 得分匹配与Langevin动力学
其中：pθ(x)为估计的似然分布，fθ(x) 为未归一化的概率模型，Zθ为归一化的配分函数。
显然，pθ(x) 关于x的对数梯度与Zθ无关，故扩散模型通过建模得分可以规避归一化操作。进一步地，得分模型形式化为sθ(x)=- ∇xfθ(x)，意味着模型无须进行对抗训练，故而不存在模式坍塌现象。
综合来看，基于得分建模的扩散模型具备分布拟合优势，可确保相对最佳的生成建模性能，尤其体现在拟合高维的视觉数据分布方面。
在此基础上，训练sθ(x) 等价于训练fθ(x)，可通过最小化模型与真实数据分布之间的Fisher散度L(θ) 实现，如式(2)所示。
考虑到真实数据的得分s(x) 难以直接计算，式(2)须借助“得分匹配”方法进行求解，即使用代理分布q(x) 的对数梯度来近似真实得分。
为避免有限样本或离群样本对q(x) 估计精度的影响，可通过“去噪得分匹配”(denoising score matching, DSM)[34]优化得分模型的训练过程，即利用条件分布$ q(\tilde{\boldsymbol{x}} \mid \boldsymbol{x})$ 向原始数据x加噪形成有噪数据$ \tilde{\boldsymbol{x}}$ ，并对$ \tilde{\boldsymbol{x}}$ 应用得分匹配，如式(3)所示。
其中：J(θ) 为DSM损失。由式(3)可知，DSM的目标是训练得分模型使之学会从有噪数据中预测并去除噪声以恢复原始数据。
得分模型充分训练后，真实数据的得分可被准确近似，继而可使用Langevin动力学[35]从近似的得分分布中随机采样以生成新的样本。
Langevin动力学从任意先验分布π(x) 中初始化MCMC(Markov chain Monte Carlo)过程，并依据式(4)迭代地更新样本点。
其中：超参数ζ为更新步长，噪声ϵ~$ \mathcal{N}$ (0, I)。当ζ→0且迭代总次数T→∞时，假设sθ(x) 已充分训练，式(4)最终的迭代结果xT将收敛于真实数据分布p(x) 的某个特定样本，等效于从sθ(x)拟合的分布中采样。扩散模型的得分建模流程如图 3所示。
因此，基于得分建模的扩散模型遵循“前向扩散(加噪)、反向采样(去噪)”的一般工作流程，即：先通过得分匹配训练得分模型以建模前向扩散过程，再利用Langevin动力学模拟退火以实现反向采样过程。
1.2 随机微分方程统一扩散模型
粒子在位形空间中的运动状态可被形式化为随机微分方程(stochastic differential equation, SDE)，因此可使用SDE在数学上统一地描述基于得分建模的扩散模型[36]，其前向扩散与反向采样过程分别形式化为式(5)与式(6)。
其中：SDE采用Itô形式表示。定义连续时间区间t∈[0, T]的扩散过程{ x(t)}t=0T，向量值函数f(x, t): $ \mathbb{R}^{d} \mapsto \mathbb{R}^{d}$ 被称为样本x(t) 的“漂移系数”，描述无外力扰动下封闭系统内任意粒子的运动状态；标量函数g(t): $ \mathbb{R} \mapsto \mathbb{R}$ 被称为样本x(t)的“扩散系数”，描述任意粒子受外力扰动后的随机位置变化；w与$ \overline{\boldsymbol{w}}$ 均指标准Wiener过程(Brownian运动)，但后者定义在连续时间区间t∈[-T, 0] 内，负号表示反向。显然，扩散模型的建模目标是准确估计任意时刻t所对应的得分∇xlogpt(x)，并从拟合的原始数据分布p0中采样，工作流程如图 4所示。
为简化式(6)的求解过程，通常使用Euler-Maruyama或Runge-Kutta方法求取对应常微分方程(ordinary differential equation, ODE)的数值解以实现确定性采样，如式(7)所示。
式(7)被称为式(6)的概率流ODE。为进一步简化并加速采样过程，可令f(x, t)= 0且g(t)=$ \sqrt{2 t}$ ，并使用时间相关的得分模型sθ(x, t)近似真实数据的得分函数s(x, t)，即dx =-tsθ(x, t)dt，并通过采样xT~$ \cal{N}$ (0, T2I) 进行初始化[37]。
1.3 逆问题建模与扩散后验采样
逆问题亦称反问题，旨在根据已知观测逆推未知源，本质为“倒果求因”。由于通信的核心目标为“在接收端尽可能高保真复现发送端选取的消息”，故可形式化为$ \boldsymbol{x}_{0} \simeq \hat{\boldsymbol{x}}_{0}=\boldsymbol{y}-\boldsymbol{n}$ ，其中：x0表示信源(如原始图像)，y表示接收到的观测信号，n表示加性信道噪声，$ \hat{\boldsymbol{x}}_{0}$ 表示精确或近似复现的信号。考虑压缩、编码、调制、复用、加密等信号处理操作，通信的数学模型可进一步表达为
其中：x0∈$ \mathbb{R}^{d}$ ，y, n∈$ \mathbb{R}^{k}$ 。$ \mathcal{H}(\cdot): \mathbb{R}^{d} \mapsto \mathbb{R}^{k}$ 被称为“前向算子” (forward operator)，泛指任意实现信号处理的线性或非线性变换。式(8)也是逆问题的一般表达形式，该式表明：通信问题属于逆问题，有效可靠的通信过程可通过普适稳定的逆问题求解等效实现。考虑到逆问题通常不适定(ill-posed)，难以解析求解，因此可借助Bayes推断近似求解。
Bayes推断的基本思想是以p(x) 为先验，并从后验p(x|y) 中采样。若向扩散模型的得分建模过程中引入Bayes推断以实现后验采样，则条件得分函数可形式化为
显然，求解条件得分∇xlogp(x|y)需要分别计算∇xlogp(x)以及∇xlogp(y|x)。对于任意t时刻的样本点xt，∇xtlogp(xt)可通过使用预训练的得分模型(即无条件扩散模型) sθ(x, t) 近似。为计算∇xtlogp(y|xt)，须估计似然概率p(y|xt)。然而根据式(8)，仅x0与y之间存在显式的依赖关系，意味着难以直接求取y关于xt的条件概率。
假设扩散过程遵循xt= x0+σtϵ，其中：噪声ϵ~$ \mathcal{N}$ (0, I)，σt为t时刻的噪声标准差。根据Tweedie公式[38]，得分函数∇xtlogp(xt) 可通过引入后验均值$ \hat{\boldsymbol{x}}_{{\bf{0}} \mid t}$ 等价计算，如式(10)所示。
其中：后验均值$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ 为统计平均意义上的去噪数据，其物理含义是粒子克服平均阻力所恢复的运动状态。结合式(3)可知，估计后验均值等效于去噪[39]。为获得均方误差最小化意义下的最优后验均值，常使用预训练的得分模型sθ(x, t)估计$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ ，即：
进一步地，可使用估计的后验均值$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ 近似计算p(y|xt)，如式(12)所示。
于是，后验条件得分函数s(xt|y)可通过式(13)计算。
其中：γ为与信道噪声n方差相关的步长，用于调控观测正则项$ \left\|\boldsymbol{y}-\mathcal{H}\left(\hat{\boldsymbol{x}}_{0 \mid t}\right)\right\|_{2}^{2}$ 对扩散先验sθ(x, t)采样轨迹的引导或矫正力度，通常为负数。
总之，扩散后验采样具备直观的物理可解释性，能够根据高度退化的观测条件应用扩散先验求解不适定的逆问题。
2 视觉质量评估的核心性能指标
在面向图像等视觉数据进行端到端传输时，扩散模型驱动的生成式语义通信技术需要考虑对齐人类的感知质量。视觉感知质量是人类感知质量中十分重要的一部分，本章介绍部分可用于评价视觉感知质量的核心性能指标。
表 1 常用的视觉质量评价指标 |
| 指标类型 | 度量方式 | 指标名称 | 指标说明 | 参考文献 |
| 全参考指标 | 像素级误差 | PSNR | 使用均方误差评估图像像素级重建质量的简单指标 | [44] |
| MAD | 综合建模多种像素级均方误差策略的灵活指标 | [45] | ||
| PAMSE | 结合图像的结构信息优化均方误差以提升保真度 | [46] | ||
| NLPD | 在归一化Laplace域中最小化像素级均方误差 | [47] | ||
| 结构相似性 | SSIM | 度量图像的结构相似性而非简单的像素级差异 | [44] | |
| MS-SSIM | 在多尺度上评估重建前后图像的结构相似性 | [48] | ||
| CW-SSIM | 在复杂小波域中评估图像的结构相似性 | [49] | ||
| FSIM | 通过相位一致性和梯度测量特征相似性 | [44] | ||
| SFF | 使用稀疏特征衡量特征相似性和明暗保真度 | [50] | ||
| GMSD | 基于梯度幅度相似性偏差的高效评价指标 | [51] | ||
| VSI | 使用视觉显著性衡量图像的局部质量重要性 | [52] | ||
| MCSD | 通过多尺度对比相似性偏差实现质量评价 | [53] | ||
| 信息理论 | IFC | 根据自然场景的统计特性提取保真度相关信息 | [54] | |
| VIF | 衡量重建后图像中保留的视觉感知质量信息 | [55] | ||
| PIM | 通过多变量互信息学习图像的随机表征作为度量 | [56] | ||
| 深度学习 | GTI-CNN | 使用卷积神经网络提取图像的几何变换不变性 | [57] | |
| PieAPP | 使用卷积神经网络预测人类视觉误差 | [58] | ||
| LPIPS | 使用卷积神经网络提取特征并计算特征之间的距离 | [59] | ||
| DISTS | 使用卷积神经网络同时衡量结构和纹理相似性 | [60] | ||
| 无参考指标 | 标签分类 | IS | 用于无标签情境下生成样本的真实性评估 | [61] |
| SSEQ | 基于空间和谱熵特性评估质量的通用指标 | [62] | ||
| 统计特性 | BLISS | 通过合成得分进行无参考图像的质量评价 | [63] | |
| NIQE | 直接比较失真图像的统计特性进行质量评估 | [64] | ||
| FID | 通过计算Fréchet距离比较不同分布间的相似性 | [65] | ||
| KID | 在核Hilbert空间中评估图像分布间的相似性 | [66] |
这些指标有助于扩散模型在压缩效率与感知质量之间取得平衡，奠定了扩散模型赋能生成式图像压缩的指标体系基础。
3 扩散模型赋能生成式压缩
数据压缩是实现语义通信的重要环节之一，直接关乎系统的传输有效性。生成式压缩的基本思想源于神经数据压缩，旨在利用深度生成模型估计数据分布并进行压缩编码。由于建模了联合分布p(x, y)∝p(x)p(y|x)，其中x和y为随机变量，生成式压缩比传统的神经数据压缩方法具备更强的语义表征和细节保护能力，因而压缩率更高且压缩结果更逼真。
以图像为例，生成式压缩的目标是优化率—失真—感知权衡并解码得到高保真图像，其与原始图像语义等价、内容一致，且感知逼真。
3.1 对齐人类感知质量的生成式隐空间
3.2 扩散模型实现高效生成式压缩的一般方法
生成式压缩的主要挑战在于如何有效平衡数据压缩前后的内容一致性与感知逼真度，这通常与质量评价指标的选取、生成式隐空间的构建以及用于解码的深度生成模型的架构有关。
从模型架构的角度来看，根据用于压缩的扩散模型构建方式的不同，生成式压缩分为2种技术路线，如图 7所示，一种为基于条件扩散模型的端到端压缩[69]；另一种为基于扩散后验采样的即插即用式(plug and play)压缩[70]。技术路线1直接使用端到端训练的条件扩散模型进行压缩，能够快速解码并得到高质量图像，但存在泛化能力弱与环境敏感度高的问题；技术路线2则将压缩视作逆问题，将压缩后的有损图像作为观测条件，采用扩散后验采样逐步恢复有损图像的纹理细节，最终得到高保真的图像。该方法理论上可泛化至绝大多数生成式压缩场景，即插即用，无须重新训练或微调扩散模型，训练成本低廉且鲁棒性强，即便在极低码率场景下，通常也能保持一定的压缩效果，故而压缩率较高。缺点为采样步骤需多次迭代完成，推理速度慢。
相比之下，基于扩散后验采样的即插即用式压缩方法更加易于部署且适配极端的生成式传输场景，故进行具体介绍。
事实上，神经数据压缩的编解码器通常包含非线性变换，且该变换可逆或存在伪逆，这意味着对同一张图像进行重复压缩与解压缩操作均能使其稳定收敛至相同的结果[70]，该现象确保了使用扩散后验采样求解压缩逆问题的可行性。
假设压缩编码器为$ \mathcal{E}$ (·)，压缩解码器为$ \mathcal{D}$ (·)，并采用扩散后验采样优化解码器，则：
其中：隐空间的码流$ {\boldsymbol{z}}=\mathcal{E}(\boldsymbol{x})$ ，且$ \tilde{\boldsymbol{x}}=\mathcal{D}(\boldsymbol{z})$ 。式(14)确保了生成式压缩逆问题的可解性，式(15)确保了扩散后验采样求解该逆问题的有效性。进一步地，可通过求解以下优化问题来实现生成式图像压缩：
上式与式(13)本质上是等价的，约束条件$ \tilde{\boldsymbol{x}} \sim p_{{\boldsymbol{x}}}$ 对应扩散先验sθ(x, t)，编码后的码流z对应观测条件y，编码器的非线性变换$ \mathcal{E}$ (·) 对应前向算子$ \mathcal{H}$ (·)，优化目标$ \|\boldsymbol{z}-\mathcal{E}(\tilde{\boldsymbol{x}})\|_{2}^{2}$ 对应观测正则项$ \left\|\boldsymbol{y}-\mathcal{H}\left(\hat{\boldsymbol{x}}_{0 \mid t}\right)\right\|_{2}^{2}$ 。故而，给定神经数据编解码器，结合预训练的无条件扩散模型，基于扩散后验采样即可实现生成式压缩。
在极低码率场景下，传统的神经数据压缩方法极易解码失败，而扩散模型凭借随机后验采样则有一定概率根据高度退化的隐空间观测条件渐进地探索出一种合理的图像复原结果，使其(近似)服从真实的数据分布，确保用户良好的视觉感知体验，同时保留完整的或绝大部分的原始语义。
由此可见，扩散模型赋能的生成式压缩能够在极低码率下高效地压缩图像，不仅实现了较高的压缩率，还平衡了压缩后图像的内容一致性和感知逼真度。因此，基于扩散后验采样的高效生成式压缩技术为生成式语义传输奠定了基础。
4 扩散模型赋能生成式传输
包括生成式数据压缩在内，生成式语义通信默认建立在生成式隐空间之上。生成式隐空间应当在发送端最先构建，并用于后续的信源压缩与感知优化。换言之，生成式语义通信系统的基本对象从“bit”转变为“token”[14]，压缩与传输过程主要关注“上下文(context)”的概率建模而非像素间的精准匹配。
4.1 扩散模型赋能生成式传输的领域特定挑战
本文将扩散模型应用于生成式传输可能面临的领域特定挑战(domain-specific challenges)分为3类：1) 强信道噪声导致的后验采样不稳定问题；2) 强非线性算子导致的优化目标模糊问题；3) 时变传输环境导致的前向算子未知问题。
4.1.1 强信道噪声导致的后验采样不稳定问题
无线信道中不可避免地存在随机噪声，可能引发后验采样的不稳定性。
当信噪比(signal to noise ratio, SNR)较大时，可通过先进的信道编码技术克服噪声干扰；但在极端恶劣的信道环境下，SNR较小甚至为负值，此时信道编码等保护措施失效，直接采用扩散后验采样不但难以重建高保真图像，甚至无法稳定收敛。这是因为当信道噪声较强时，与观测条件相关的后验分布将难以建模，若噪声为Gauss白噪声，则该后验分布始终近似为Gauss分布，意味着后验得分难以被精确建模，这加剧了扩散模型反向采样过程中的随机性，从而导致后验采样极其不稳定。
不稳定的后验采样会导致联合解码过程的误差累积，继而造成重建图像的内容失真和语义退化。
4.1.2 强非线性算子导致的优化目标模糊问题
这些强非线性的前向算子在提升传输性能的同时，也使得扩散后验采样的优化目标极其模糊，可能产生错误的引导。在极低码率场景下，前向算子的非线性影响被进一步增强，随机后验采样的优化方向更加模糊，导致重建结果经常出现明显的质量瑕疵，如伪影等。
4.1.3 时变传输环境导致的前向算子未知问题
在绝大多数情况下，无线传输环境是时变的、动态的、非平稳的，这意味着前向算子整体是难以预测的。此时，前向算子的未知性还会进一步导致扩散后验采样失效。
当前向算子未知时，端到端传输便成了一个盲逆问题，若缺乏对动态环境的实时感知，则观测条件所提供的正则化引导将难以确保扩散模型的生成结果与信源的内容一致。
4.2 扩散模型实现韧性生成式传输的一般方法
标准的扩散后验采样通过预测后验均值$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ 构造观测正则项来修正扩散模型反向采样过程的轨迹。然而，扩散后验采样对较大方差的噪声相对敏感，容易过拟合随机噪声导致模型估计的后验均值$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ 与观测y并不一致。这表明观测正则项可能会为扩散模型的采样过程提供错误的优化方向，致使重建结果脱离真实的数据分布。当前向算子的非线性较强时，扩散后验采样的重建性能将会严重下降。上述问题主要由前2类领域特定挑战所导致。
为此，可设计额外的正则项来修正后验采样过程，确保扩散模型每个迭代步骤生成的样本不仅符合观测条件的约束，同时也能够对齐真实的数据分布[26-28]。生成式传输的条件后验得分可被形式化为$ \boldsymbol{s}\left(\boldsymbol{x}_{t} \mid \boldsymbol{y}, \boldsymbol{x}_{0 \mid \boldsymbol{y}}\right) \simeq \boldsymbol{s}_{\theta}(\boldsymbol{x}, t)+\nabla_{{\boldsymbol{x}}_{t}} \log p\left(\boldsymbol{y}, \boldsymbol{x}_{0 \mid \boldsymbol{y}} \mid \boldsymbol{x}_{t}\right)$ ，其中x0|y为近端参考点，用以确保后验均值$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ 尽可能地落在真实的数据分布上。考虑端到端的隐变量传输架构[17]，近端参考点可通过常规的联合解码器$ \mathcal{D}$ (·) 解码y得到，即x0|y = $ \mathcal{D}$ (y)。此时隐空间的后验均值$ \hat{\boldsymbol{z}}_{0 \mid t}$ 采用对应的联合编码器$ \mathcal{E}$ (·) 编码$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ 得到，即$ \hat{\boldsymbol{z}}_{0 \mid t}$ = $ \mathcal{E}$ ($ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ )。
进而，条件后验得分可通过式(17)近似计算。
其中：λ和γ是与信道噪声n方差相关的步长，分别指近端正则项和观测正则项的引导力度。构造近端正则项的目的是抑制由于信道环境的不理想所产生的随机不确定性扰动，即通过引入近端参考点稳定采样过程的轨迹。
近端参考点通过预训练的联合编解码器获得，天然地去除了绝大多数信道噪声，包含丰富的纹理细节和完整的上下文语义，为后验均值估计提供了充分参考，提高了重建结果的保真度。
此外，近端参考点也能够加速后验采样，相当于初始化噪声较小的后验均值，一定程度上缓解了强信道噪声导致的后验采样不稳定问题。
特别地，$ \hat{\boldsymbol{x}}_{0 \mid t}=\mathcal{D}\left(\mathcal{H}^{\dagger}\left(\mathcal{H}\left(\mathcal{E}\left(\hat{\boldsymbol{x}}_{0 \mid t}\right)\right)\right)\right)$ 为修正后的后验均值，$ \mathcal{H}^{\dagger}(\cdot)$ 表示前向算子$ \mathcal{H}$ (·) 的伪逆，目的是显式地考虑联合编解码器与无线信道的非线性扰动[28]，确保近端正则项充分排除非线性因素的影响，避免优化目标模糊所导致的错误引导。
为了进一步应对时变信道环境导致的前向算子未知的挑战，通常采用信道估计感知时变环境。然而，用于信道估计的导频信号在盲逆问题下难以直接获取[74]。对此，可使用扩散后验采样估计并生成未知的前向算子，继而求解非盲逆问题。
具体而言，对于任意t时刻的信道冲激响应ht，有且仅有唯一对应的真实信道冲激响应h*，通过扩散后验采样可联合估计信道后验均值$ \hat{\boldsymbol{h}}_{0 \mid t}$ 和数据后验均值$ \hat{\boldsymbol{x}}_{{{0}} \mid t}$ ，并求解生成式传输逆问题，联合条件后验得分s(xt, ht|y) 的近似如式(18)所示。
其中：$ \widehat{\mathcal{H}}_{\left.0\right|{t}}$ (·) 表示由信道后验均值$ \hat{\boldsymbol{h}}_{\left.0\right|{t}}$ 参数化的与时变信道环境相关的前向算子。通过迭代执行式(18)这一联合扩散后验采样过程，最终可以近似求解未知前向算子的生成式图像传输盲逆问题。
由于信道冲激响应的维度远低于图像，易于扩散模型进行概率建模，因此时变信道环境的“去盲”操作并不会带来很大的计算开销[28]。此外，联合扩散后验采样过程不需要额外训练条件扩散模型，也节省了模型训练所产生的时间成本，能够泛化真实的无线通信场景，提升了系统的传输韧性。
因此，通过引入特定的后验采样改进策略，扩散模型可以克服通信领域特定的3类技术挑战，使系统具备较强的传输韧性与鲁棒性，能够自适应极端恶劣与动态时变的信道环境。在该技术框架下，即便图像出现了较大程度的像素级失真，也能通过扩散后验采样在接收端重建原始内容与语义，并保证较高的视觉感知质量。因此，扩散模型为生成式视觉语义通信的进一步发展提供了新的思路。
5 开放性问题
本章介绍扩散模型赋能生成式视觉语义通信的2类开放性问题：1) 图像逼真度的度量问题；2) 扩散模型的加速采样问题。针对第1类开放性问题，本章详细阐述了图像逼真度的通用评价模型；针对第2类开放性问题，本章具体讨论了加速扩散后验采样的4种基本方法，即数据降维法、知识蒸馏法、模型剪枝法及缓存复用法。如图 9所示。
5.1 图像逼真度的度量问题
传统的图像逼真度度量方法通常基于概率(probability)和典型性(typicality)，但这些方法在评估结构复杂的高维视觉数据时存在局限性。Theis[75]提出了一种结合Kolmogorov复杂度的策略，通过构造式(19)所示的通用评价模型$ \mathcal{U}$ (·)度量图像的逼真度。
其中：P(x) 表示从特定数据分布中采样并生成图像的概率；$ \mathcal{K}$ (x) 表示图像的Kolmogorov复杂度，描述生成图像所需的最简流程，反映生成该图像的难度。如果一幅图像具有高概率和低复杂度，则更容易被人类认为是逼真的；反之则通常会显得不逼真。
从随机性缺陷(randomness deficiency)的角度而言，人类感知的自然图像往往包含噪声等随机扰动[75]，即人类倾向于认为包含部分随机性缺陷的图像更加逼真。然而，人工合成图像的方法通常试图完全消除这些随机噪声，通过降低随机不确定性来增强生成过程的可控性，这反而可能削弱图像的逼真度。因此，图像的逼真度与生成过程中预期出现的随机性缺陷有关，度量逼真度的关键在于平衡图像的生成概率与Kolmogorov复杂度。
尽管式(19)理论上提供了一种评估图像逼真度的有效方法，但在虚拟现实等场景中，数据的Kolmogorov复杂度通常难以被有效评估。因此，构建更加全面的图像逼真度度量标准并将其应用于生成式压缩与传输，是值得探索的研究方向。
5.2 扩散模型的加速采样问题
扩散模型通过逐步采样(去噪)生成高质量的图像。虽然这一过程能够确保生成图像的逼真度和多样性，但也带来了显著的计算开销和时间成本[76]。一幅图像的生成通常经过数百到数千个采样步骤，每个采样步骤都须求解反向SDE。在实时通信场景下，这种迭代采样的方式极大地限制了扩散模型的解码效率，增加了计算复杂度，导致通信时延，继而影响用户体验。因此，加速扩散模型采样是生成式视觉语义通信的另一开放性问题。
目前主要有4种加速扩散模型采样的方法，分别为：数据降维、知识蒸馏、模型剪枝、缓存复用。
模型剪枝通过移除冗余计算单元或模块以加速扩散模型采样。主要是分析模型各个组件在不同扩散步骤中的重要性，“剪去”不必要的部分，以降低计算复杂度和内存占用[80]。
尽管上述方法旨在提高扩散模型的采样效率并保持生成质量，但在处理高分辨率或细节丰富的图像生成与感知压缩任务时，仍面临复杂性、可扩展性和自适应性的平衡问题。可能的解决方法是利用动态剪枝和自适应蒸馏技术，使模型能够根据图像内容动态调整采样策略，从而提升压缩效率，同时确保高质量的感知效果。此外，结合多种策略协同加速扩散后验采样也值得研究。
6 结论
面向扩散模型赋能的生成式视觉语义通信新范式，本文系统介绍了扩散模型的基础概念、数学模型及采样策略，梳理了视觉质量客观评估的常用性能指标，并从逆问题求解视角综合评述了扩散模型赋能生成式压缩与传输的一般方法与关键技术。在此基础上，本文讨论了图像逼真度度量以及扩散模型采样加速等开放性问题，并对未来研究进行展望。主要结论如下：
1) 相较于基于判别式深度学习模型的视觉语义通信范式，基于扩散模型的生成式视觉语义通信范式能够显著提升通信系统数据传输效率与韧性，同时保证视觉信息的感知质量和语义一致性。
2) 广义通信过程(包括数据压缩与传输)可建模为逆问题求解，核心思路为：根据信道接收到的观测信号和信号处理操作构成的前向算子，通过最大后验估计推测传输信源的数据分布，进而近似重建信源内容。
3) 通过扩散后验采样，扩散模型可有效求解通信逆问题。首先，从大规模关联数据中预训练扩散模型获取扩散先验；其次，使用信源—信道联合编解码器去除视觉数据在信道传输中的扰动，构造近端正则项；最后，根据信道观测信号构造观测正则项。综合上述3步操作进行后验估计与分布采样，扩散模型可通过梯度下降隐式重建原始数据，克服强信道噪声、强非线性算子及时变信道环境带来的传输挑战。
4) 扩散模型赋能生成式视觉语义通信研究目前面临图像逼真度度量和扩散模型加速采样2类开放性问题。未来研究可聚焦于构建更全面的逼真度度量体系和更高效的后验采样策略。
值得注意的是，本文指出借助得分扩散模型，现有语义通信架构可根据极简表征单元与高度退化观测在接收端近似恢复信源，该“智简”观点有望为生成式视觉语义通信的未来技术架构设计提供方法论指导。
