基于ID的推荐是一种简单直接的推荐系统实现方法，其主要利用用户和物品的交互信息实现个性化推荐。通常，基于ID的推荐系统将用户与物品视为基本处理单元，并为其分配唯一的离散标识(ID)，用户与物品的交互信息通常被表示为User-ID与Item-ID的对应关系集合。基于ID的推荐系统通过对这些对应关系的模式学习来获取用户和物品的有效表示^[1]，进而实现从离散的ID中捕捉用户对物品的偏好。然而，这种基于ID的推荐方法往往面临用户-物品交互数据稀疏、符号ID不含有语义信息等问题。

Sheng等^[2]、Yuan等^[3]、Zhao等^[4]基于协同过滤思想，利用不同推荐平台之间共享的用户或物品信息，在不同领域间传递用户画像或用户对物品的偏好，这类方法可用于解决跨域推荐问题或冷启动推荐问题。但是，这些方法效果依赖不同领域间用户或物品的重叠，而在实际场景中这种重叠假设几乎不成立^[5]，此外，用户和物品的ID仅作为一种索引符号，因而其本身无法为用户和物品的表示提供有价值的语义信息^[1]。

对交互行为的研究^[6]表明，个体倾向于与其所属的群体相关联，群体的所有成员通常具有相似的购买行为并且彼此之间具有显著的影响力。例如，个体的职业背景会影响其购买行为，人们倾向于购买与其职业和社会角色相符的产品和服务。这里，职业作为一种潜在驱动因素，使群体用户表现出特定的购买行为模式。同时，潜在的模式关联能够从多个角度捕捉用户偏好，进而提高模型的性能^[7]。因此，本文假设不同域用户-物品交互行为之间存在潜在的模式关联，即存在一种将不同域的用户连接的潜在因素，在该因素驱动下不同域间的部分用户产生出相近的用户-物品交互行为。本文把这些相近交互行为之间的公共特征称为交互行为语义模式。

基于上述假设，本文提出了一种基于交互行为语义模式增强的ID推荐方法PEIDR(pattern enhancement ID recommendation)。假设不同域间用户-物品交互行为之间存在潜在的模式关联，在目标域推荐任务中引入辅助域信息，基于图神经网络对辅助域和目标域信息进行联合编码表示，通过引入交互行为语义模式，将辅助域的用户-物品交互信息及物品描述信息迁移至目标域，从而实现目标域ID推荐中的交互行为语义增强。在8个公开数据集上进行实验，结果表明，相比于目前的SOTA方法，本文提出的方法均获得了更好的表现，其前20个推荐结果中的召回率Recall@20与归一化折损累计增益NDCG@20分别提升了3%~30%和1%~40%，验证了本文提出假设的合理性及方法的有效性。

1 相关研究

基于单一领域数据实现的ID推荐系统长期面临数据稀疏和冷启动两大挑战，这促进了跨域推荐的出现和发展。跨域推荐的核心思想是利用从其他领域(辅助域)收集的信息来缓解目标领域中的数据稀疏和冷启动问题^[8]。与传统推荐系统相比，跨领域推荐更为复杂。首先，考虑到2个域的用户和物品之间的关系，跨域推荐存在用户重叠或非重叠等不同的推荐情况^[9]。其次，跨领域推荐的推荐任务多种多样。例如，推荐用户和物品可能在同一领域，也可能在不同领域。最后，传统的推荐系统只需关注如何从历史交互记录中建立用户兴趣模型，而对于跨领域推荐来说，除了在各个领域内对用户兴趣建模外，还需要考虑如何在不同领域之间传递知识。Man等^[10]提出的EMCDR(embedding and mapping framework for cross-domain recommendation)是一种经典的基于映射的方法，通过学习映射函数在不同域之间转移重叠用户的偏好。Li等^[11]提出的DDTCDR(deep dual transfer cross domain recommendation)引入了一种潜在的正交映射来捕捉多个领域中的用户偏好，同时保留不同潜在空间中用户之间的关系。Xie等^[12]提出的CCDR(contrastive cross-domain recommendation)在不同领域之间对用户和物品属性进行对比学习，以实现多样化的知识转移。然而，这些仅基于ID关联记录的方法忽略了物品描述中的语义信息在推荐中的重要性。

Wu等^[13]提出SGL(self-supervised graph learning)，将节点丢弃(node dropout)、边缘丢弃(edge dropout)和随机游走(random walk)应用于增强用户-物品二分图。它使用相同类型的增强算子生成两个增强图，并使用共享图LightGCN(light graph convolution network)编码器f_θ^[14]学习节点嵌入。Yu等^[15]将对比学习引入推荐任务，利用用户-物品交互行为数据构建二分图，提出XSimGCL(extremely simple graph contrastive learning)模型，并证明了对比学习对图推荐模型的有益影响。XSimGCL模型通过优化对比损失获得比SGL^[13]模型更为合理的用户与物品表征。本文的方法在XSimGCL模型的基础上再次优化用户与物品的特征表示，将辅助域中物品的语义信息融入目标域以获得带有语义信息的用户与物品的表示。

2 方法实现 2.1 问题定义

在基于交互行为语义模式增强的ID推荐方法中，有来自目标域和辅助域的2组用户集合，分别表示为User^t={user₁^t, user₂^t, …, user_m^t}和User^a={user₁^a, user₂^a, …, user_n^a}，其中m和n分别为目标域和辅助域中用户的个数；另有来自目标域和辅助域的2组物品集合，分别表示为Item^t={item₁^t, item₂^t, …, item_p^t}和Item^a={item₁^a, item₂^a, …, item_q^a}，其中p和q分别为目标域和辅助域中物品的个数。User^t与User^a、Item^t与Item^a均无重叠项，即User^a∩User^t=Ø且Item^a∩Item^t=Ø。辅助域和目标域中的数据分别构成2个二分图，并以三元组〈User-ID, Item-ID, InteractionFlag〉的形式表示，其中，InteractionFlag∈{0, 1}表示用户是否与物品存在交互。基于交互行为语义模式增强的ID推荐的目标是利用辅助域信息指导推荐模型在目标域上获得更为准确的物品推荐结果，该问题可形式化表示为$\max \sum\limits_{i}^{m} \sum\limits_{j}^{p}\left(2 c_{i j}-1\right) x_{i j}$。其中，c_ij∈{0, 1}，i∈{1, 2, …, m}，j∈{1, 2, …, p}。c_ij=0表示user_i^t与item_j^t之间实际上没有交互，c_ij=1表示user_j^t与item_j^t之间实际上存在交互；x_ij∈{0，1}。x_ij=0表示模型预测user_i^t与item_j^t之间没有交互，x_ij=1表示模型预测user_i^t与item_j^t之间存在交互。

本文使用的符号及含义如表 1所示。

2.2 模型概述

本文提出了基于交互行为语义模式增强的ID推荐方法PEIDR。为了引入语义信息，使用三元组〈Item-ID, Title, Describe〉间接建立辅助域中的物品描述信息Describe与用户的交互关系。PEIDR通过图神经网络和预训练语言模型实现辅助域关联模式信息到目标域的迁移，从而增强目标域的用户和物品的语义表达。另外，为了进一步提升推荐的质量和推荐的准确性，通过优化推荐损失的方式增强了用户和物品的特征表示。基于交互行为语义模式增强过程如图 1所示。

2.2.1 交互行为语义模式增强

PEIDR的结构如图 2所示。通过图编码器XSimGCL^[15]对目标域和辅助域的用户-物品二分图进行联合编码，得到目标域和辅助域中的用户与物品的嵌入向量。为了获取辅助域物品描述文本的语义信息，本文使用预训练语言模型BGE(BAAI general embedding)^[16]对辅助域中每个物品的文本描述T_l进行编码。

$ \boldsymbol{S}_{l}=\operatorname{Encoder}\left(T_{l}\right) . $

(1)

S_l被用来更新由图编码器产生的辅助域中用户与物品的特征。在辅助域中，为了获取符合用户偏好的语义特征，使用与该用户存在交互的所有物品特征平均化对其进行更新。

$ \boldsymbol{U}_{k}^{a}=\frac{\sum\limits_{l} c_{k l} \boldsymbol{S}_{l}}{\sum\limits_{l} c_{k l}} . $

(2)

其中：$\sum\limits_{l} c_{k l}$表示user_k^a与辅助域中物品交互的数量，c_kl∈{0, 1}，c_kl=0表示user_k^a与item_l^a之间实际上没有交互，c_kl=1表示user_k^a与item_l^a之间实际上存在交互。

user_i^t更新后的表示向量U′_i^t由其更新前的表示向量U_i^t和与之距离最近的user_k^a表示向量U_k^*a相加得到。获取融入语义信息的用户特征表示过程可形式化描述如下：

$ \boldsymbol{U}_{i}^{\prime \rm t}=\boldsymbol{U}_{i}^{\mathrm{t}}+\boldsymbol{U}_{k}^{* \mathrm{a}}, $

(3)

$ \boldsymbol{U}_{k}^{* a}=\underset{\boldsymbol{U}_{k}^{\rm a}}{\operatorname{argmax}}\left(\operatorname{sim}\left(\boldsymbol{U}_{i}^{\mathrm{t}}, \boldsymbol{U}_{k}^{\rm a}\right)\right) . $

(4)

其中：U_i^t∈U^t, U_k^a∈U^a。

item_j^t更新后的表示向量I′_j^t由其更新前的表示向量I_j^t和与之距离最近的item_l^a的表示向量I_l^*a相加得到。获取融入语义信息的物品特征表示过程可形式化描述如下：

$ \boldsymbol{I}_{j}^{\prime \mathrm{t}}=\boldsymbol{I}_{j}^{\mathrm{t}}+\boldsymbol{I}_{l}^{*{\mathrm{a}}}, $

(5)

$ \boldsymbol{I}_{l}^{*\mathrm{a}}=\underset{\boldsymbol{I}_{l}^{\mathrm{a}}}{\operatorname{argmax}}\left(\operatorname{sim}\left(\boldsymbol{I}_{j}^{\mathrm{t}}, \boldsymbol{I}_{l}^{\mathrm{a}}\right)\right), $

(6)

$ \boldsymbol{I}_{l}^{\mathrm{a}}=\operatorname{Encoder}\left(T_{l}\right) . $

(7)

其中：I_j^t∈I^t，I_l^a∈I^a。

基于用户与物品的特征向量点积的结果为

$ \operatorname{score}_{i j}=\boldsymbol{U}_{i}^{\prime \mathrm{t}^{\mathrm{T}}} \boldsymbol{I}_{j}^{\prime \mathrm{t}}. $

(8)

对全部score_ij排序后为用户推荐前20个物品。

2.2.2 优化推荐损失

为了提高推荐系统整体性能，本文采用由超参数λ调节的推荐损失与对比损失联合的方式^[15]进行模型优化。

$ L=L_{\mathrm{rec}}+\lambda L_{\mathrm{cl}} . $

(9)

假设B为当前批次中用户与物品的集合，u表示B中的用户集合，v表示B中与用户u不存在交互的物品集合。对比损失最小化使得图对比学习模型能够从ID的交互信息中学习到更均匀的物品表示。

$ L_{\mathrm{cl}}=\sum\limits_{u \in B}-\ln \left(\frac{\exp \left(\boldsymbol{z}_{{u}}^{{\prime}\mathrm{T}} \boldsymbol{z}_{u}^{l^{*}} / \tau\right)}{\sum\limits_{v \in B} \exp \left(\boldsymbol{z}_{u}^{\prime \rm T} \boldsymbol{z}_{v}^{l^{*}} / \tau\right)}\right) . $

(10)

其中: z′_u和z_u^l*是来自不同层嵌入的用户特征，z_v^l*是与用户u不存在交互的物品特征。z_u^l*是z′_u的正样本，z_v^l*是z′_u的负样本，l^*表示与最终层对比的层序数，τ是温度系数，控制对难负样本(hard negative sample)的惩罚强度。

考虑到将语义信息融入目标域中的用户和物品表示过程，推荐损失定义如下：

$ L_{\mathrm{rec}}=-\sum\limits_{(u, v) \in B} \ln \left(\sigma\left(e_{u}^{\mathrm{T}} e_{w}-e_{u}^{\mathrm{T}} e_{v}\right)\right) . $

(11)

其中：e_u表示融合了语义信息的用户表示，e_w表示与用户u存在交互的且融合了语义信息的物品表示，e_v是随机采样的与用户不存在交互且融入语义信息的物品表示，σ是sigmoid函数。

3 实验 3.1 数据集

本文使用了9个公共数据集进行实验。将Yelp2018^[14]、Amazon-kindle^[17]、Alibaba-iFashion^[13]、Amazon-Electronic^[18]、Book Crossing^[19]、MovieLe-ns10M^[20]、MovieLens20M^[21]、MovieLens25M^[22]和Citeulike-a等数据集的用户-物品ID交互信息作为目标域使用；将MovieLens10M、MovieLens20M、MovieLens25M和Citeulike-a等数据集的物品描述信息逐一作为辅助域使用。目标域与辅助域之间没有重叠的用户ID和物品ID。

各数据集中的数据分布情况如表 2所示。本文将各目标域数据集按7∶1∶2的数据量比例划分为训练集、验证集和测试集进行独立验证实验，使用Recall@20和NDCG@20对推荐结果进行评价。

3.2 超参数设置

实验采用自监督推荐的框架SELFRec实现所有的模型和基线。选用预训练语言模型BGE^[16]作为语义提取器。在模型中设置向量维度为768维，并使用Adam优化器来最小化损失函数。学习率设置为10^-4，L₂正则化系数设置为10^-4，批次大小设置为2 048，τ设置为0.2，λ设置为0.2，l^*设置为1。在训练过程中，使用式(9)损失函数来训练模型，并采用批量梯度下降算法进行优化。

3.3 对比方法

1) LightGCN^[14]：LightGCN通过用户-物品交互图上线性传播用户和物品嵌入来学习用户和物品嵌入，并使用所有层学习到的嵌入的加权和作为最终嵌入。

2) SGL-ND^[13]：节点丢弃，即随机删除图中的节点以及与之相关的边，通过随机移除一些节点来模拟图的不同视角，帮助模型学习更鲁棒的节点表示。

3) SGL-ED^[13]：边缘丢弃，即随机删除图中的部分边，通过移除图中的某些连接，模型可以学习在部分信息缺失的情况下推断节点之间的关系，提升模型的泛化能力。

4) SGL-RW^[13]：随机游走，即通过在图上进行随机游走生成子图，通过局部探索图结构的方式，生成多个不同的局部子图，从而帮助模型捕捉节点之间的局部关系。

5) SGL-WA^[23]：改进SGL变体，提出并非所有图增强都会产生积极影响，某些图增强(如节点丢弃)可能会通过删除关键节点(如中心)及其相关边来扭曲原始图，并证明在图对比学习中，对比损失的选择比图增强更有效果。

6) SimGCL^[23]：消除了无效的图形增强，而是通过向学习的表示添加均匀噪声来实现更有效表示。实验结果表明，这种基于噪声的增强可以获得更均匀的表示分布。

7) XSimGCL^[15]：优化SimGCL，使对比任务和推荐任务共享通道，简化计算过程。

3.4 实验结果

将Citeulike-a作为辅助域，Yelp2018、Amazon-kindle、Alibaba-iFashion、Amazon-Electronic、Book Crossing、MovieLens10M、MovieLens20M、MovieLens-25M作为目标域，本文方法和7种对比方法的实验结果见表 3。每个指标的最优值用粗体表示，次优值用下划线表示。实验结果表明，本文方法在不同的数据集上的评价指标都取得了最优结果。

3.5 结果分析 3.5.1 交互行为语义模式的可转移性

通过分析8个目标域中涉及的推荐物品的领域，本文研究了潜在行为模式的领域可转移性。

图 3中，当使用Citeulike-a作为辅助域提升8个目标域上的评价指标时，不同目标域上评价指标的提升效果存在差异。Citeulike-a在Amazon-kindle、Amazon-Electronic、Book Crossing上对评价指标的提升效果比在Yelp2018、Alibaba-iFashion、MovieLens10M、MovieLens20M、MovieLens25M上的好。Amazon-kindle和Book Crossing是书籍类数据集，Citeulike-a是学术论文类数据集，所属领域相似；Amazon-Electronic是电子产品类数据集，Citeulike-a数据集中存在计算机科学领域的论文，因此两者也存在领域上的相似性。这说明辅助域的领域与目标域的领域越相似，辅助域信息的传递对评价指标的提升效果越好。

3.5.2 交互行为语义模式的有效性

为了证明交互行为语义模式的有效性，进行了交互行为语义模式增强的消融实验。PEIDR消除交互行为语义模式后称为PEIDR_w/o。消融实验的超参数设置与3.2节相同。实验结果如表 4所示。其中“提升率”表示PEIDR相比PEIDR_w/o的提升幅度，表明引入行为语义模式增强能够有效地提升模型的推荐结果。

3.5.3 交互行为语义模式的鲁棒性

为了验证交互行为语义模式的鲁棒性，本文分别使用带文本描述信息的MovieLens10M、MovieLens20M和MovieLens25M作为辅助域进行验证。为了避免样本数量差异对实验结果的影响，本文从MovieLens10M、MovieLens20M和Movie Lens25M随机选取的用户-物品ID交互信息数量与Citeulike-a的相同。实验结果如表 5—7所示。表中最右一列表示每个数据集的最优值相比次优值的提升幅度。实验结果进一步表明，使用不同的辅助域数据在本文PEIDR模型框架下均产生了不同程度推荐效果的提升，表明本文提出的交互行为语义模式具有鲁棒性。

4 结论

本文基于不同领域用户-物品交互行为之间存在潜在的模式关联的假设，提出了一种基于交互行为语义模式增强的ID推荐方法PEIDR。通过引入交互行为语义模式，将辅助域的用户-物品ID交互信息及物品描述信息迁移至目标域，从而实现目标域ID推荐中的交互行为语义增强。实验结果表明，相比目前的SOTA方法，该方法能够在无跨域用户ID和物品ID重叠的情况下实现语义信息迁移，并表现出更好的推荐效果，验证了该方法的有效性；相近领域之间的交互行为模式具有更好的可迁移性，辅助域与目标域越相似，引入辅助域信息对目标域ID推荐评价指标提升越明显。