
王辉, 叶晓俊, 董泽委
2025, 65 (11) : 2259-2268. https://doi.org/10.16511/j.cnki.qhdxxb.2025.21.030
这篇论文针对生成式模型在离散化序列化数据时由于存在重构误差大、特征学习不足限制数据生成质量的问题,提出了一种基于残差网络的矢量量化堆叠自编码器的方法,该模型通过残差连接保留编码器中的连续信息,并结合堆叠矢量量化方法构建多维度特征表达,最终实现了对离散序列数据的重构和生成。整体而言,文章逻辑清晰,结构完整,提出的模型具有一定创新性,实验部分也较为完整。
优点:
1. 作者利用残差连接将编码器输出的连续隐向量传递至解码器对应层,有效避免了高价值连续信息的丢失,提高了重构能力。
2. 作者在原始VQ-VAE基础上进行了扩展,构建多重堆叠的码本,学习多维度的离散化特征表达,克服了单一码本后验坍塌问题。利用 Transformer 模型在码本空间训练后验分布,实现离散隐空间的后验采样,生成分布特性一致的离散序列数据。
3. 作者通过在两个公开数据集上的实验验证了所提方法的有效性,以及通过消融实验验证了各个模块的性能。
论文的不足之处及对论文工作的意见或建议:
1. 如何分析本文提出的RVQS_AE与传统的AE方法的损失曲线高度吻合这一现象?为什么其重构性能不如AE方法?为什么各个模型在重构准确率指标上的差异如此巨大,例如在ML-1M数据集上,AE和VQGAN的准确率相差近100倍?建议给出对应分析;