本文为 TKDE2020 的文章《Multi-task Learning for Recommendation over Heterogeneous Information Network》前半部分的解读。

这篇文章提出了一个多任务学习框架，称为 MTRec，用于 HIN 上的推荐。MTRec 依靠自注意力机制学习 HIN 中元路径的语义，并联合优化推荐和链接预测任务。通过使用贝叶斯任务权重学习器，MTRec 能够在优化过程中自动实现两个任务的平衡。此外，MTRec 通过“翻译”机制提供了良好的推荐可解释性，该机制用于建模用户、项目和连接它们的元路径之间的三向交互。实验结果表明，MTRec 比最新的基于 HIN 的推荐模型具有更好的性能，并且文章最后提供的案例分析表明，MTRec 增强了 RS 的可解释性。

介绍

与传统的推荐方法相比，基于 HIN 的推荐方法能够对不同对象之间的复杂交互进行建模。描述和使用这些信息是提高推荐质量的关键，因为不同对象之间的交互会影响用户的行为，特别是当用户做出购买决策时。

因此，基于HIN的推荐技术提供了一种方法来了解哪些信息会影响推荐结果，并且对可解释的推荐系统具有重要价值。

目前基于 HIN 的 RS 的局限：

• 基于元路径/元图的相似性的方法：相似度计算的高计算复杂度阻碍了这些方法在真正大规模的 HIN 中的充分应用。

• 基于嵌入的方法：这些方法假定 HIN 是不变的，即 HIN 在 RS 的生命周期中不会更新。然而，RS 中数据的增加给 HIN 带来了新的用户-项目交互和项目-项目关系。数据更加密集的 HIN 可以进一步提高推荐的质量。

因此，HIN 与推荐之间存在着交互作用。然而，现有的方法只是对推荐进行优化，忽略了还有其他相关的任务（例如，对HIN的动态增长进行建模），联合学习多个任务可能会进一步提高所有任务的泛化性能。

针对上述问题，这篇文章提出了一种基于 HIN 的多任务学习推荐框架（简称 MTRec）。文章的贡献总结如下：

• 设计了一个主要依靠注意力机制的基于元路径的推荐模型。通过利用自注意力，在细粒度学习过程中可以识别元路径中每个因素的重要性。

• 将元路径建模为从用户到项目的异构“翻译”，以刻画用户、项目以及连接它们的元路径之间的三向交互。基于翻译的三向建模不仅提高了推荐的性能，而且提高了推荐的可解释性。

• 首次将多任务学习引入到基于 HIN 的推荐系统中。选择链接预测作为用于对网络的动态进行建模的辅助任务，并设计了一个多任务学习框架，该框架同时优化 HIN 中的推荐任务和链接预测任务。

• 在联合优化过程中，使用贝叶斯任务权重学习器自动实现主任务和辅助任务的平衡。贝叶斯任务权重学习器不仅对这篇文章提出的基于 HIN 的推荐任务有好处，而且对涉及多任务学习和负抽样的其他任务也有一定的帮助。

定义

基于HIN的推荐问题：给定系统中的用户-项目交互矩阵 和相应的 HIN ，对于每个用户 ，基于 HIN 的 RS 旨在提供 最感兴趣的 个项目的推荐列表。

HIN的链路预测：长度为 的元路径 的每个实例 可以被分段成 个链路：，其中 是 中的第 个对象。然后，在给定其前面的 个对象的情况下，HIN的链接预测问题可以被定义为元路径实例中的第 个对象的预测问题。

MTREC

模型概述

以往的基于 HIN 的推荐系统通常忽略了 HIN 的稀疏性和动态性。为了解决这些问题，MTRec 引入了一个辅助任务——HIN 的链路预测，并利用多任务学习设计了 MTRec 的体系结构。基于 HIN 的推荐任务和 HIN 的链接预测任务是相关的，因为它们共享元路径的一些特征。MTRec 采用多任务学习为基于HIN的推荐带来了几个好处：

• 链接预测模拟了 HIN 的动态增长，不仅有助于丰富 HIN 的信息（从而缓解了稀疏性问题，MTRec 还考虑了来自不连接目标用户和候选项目的元路径的信息），而且还通过多任务的特征共享和联合优化提高了推荐任务的性能。

• 多任务学习有助于模型将重点放在最基本的特征上，因为辅助任务将为这些特征的相关性或无关性提供额外的证据。

• 多任务学习增强了 MTRec 的泛化能力，因为它使模型偏向于选择主任务和辅助任务都喜欢的特征。

上图为MTRec的总体体系结构，它由两个模块组成。左边的部分是 self-attentive 推荐模块，它根据连接用户和候选项目的元路径向用户提供 top-k 推荐。右边的部分是为 HIN 中的链路预测而设计的。这两个模块共享底层对象嵌入层。此外，每个模块拥有一个私有特征空间，并共享用于多任务学习的公共元路径特征空间。每个模块中的私有特征和共享特征分别通过各自模块中的私有自注意力层和公共自注意力层来学习。最后，在联合优化过程中，使用贝叶斯任务权重学习器自动平衡这两个任务。

主要任务：基于 HIN 的推荐

自注意力元路径建模

与以前利用 CNN 等神经网络来学习元路径表示的基于嵌入的方法不同，MTRec 主要依靠自注意力来捕捉元路径中的复杂语义。MTRec 中使用的自注意力元路径建模方法可以分解为以下几个部分。

1. 对象嵌入层

   将 HIN 中每个对象的 ID 作为输入特征。输入特征（例如对象类型为 的对象 的 ID）以独热编码的形式表示为二值化稀疏向量 . 输入层上方是所有对象类型的嵌入层。每个嵌入层是一个完全连接层，它将稀疏的独热表示 投影成密集的 维向量 ，以表示 HIN 中具有类型 的对象 .

2. 元路径嵌入层

   因为每个元路径由一系列对象类型组成，通过串联序列中对象的嵌入来表示每个元路径实例。给定元路径 的一个长度为 的实例 ，它的嵌入 是 中对象的嵌入的堆叠。

其中 表示元路径实例 中第 个对象的第 个维度。

1. 自注意力层

   关键字 、查询 和值 的输入是相同的，为元路径实例的嵌入 ，它们首先被投影到具有共享参数的相同空间中：

然后，获得如下注意力权重 ：

然后，通过将值 和注意力权重 相结合，可以得到元路径 的实例 的改进实例嵌入向量 ：

模型还对元路径 的所有元路径实例的嵌入应用平均池化操作，以得到它的元路径嵌入 ：

回顾自注意力层的整个过程可以发现，元路径实例中每个对象的位置并不影响改进元路径嵌入向量 的形成。换句话说，改变一个元路径中的对象顺序，这个元路径将具有与原始元路径相同的表示。

为了避免这种不合理的表示，在将 投影为 , 和 之前，注入一个可学习的位置嵌入 到 中，帮助模型保留元路径实例的顺序：

其中， 的第 行中的每个元素都被初始化为值 . 通过注入位置嵌入 ，模型知道每个对象在元路径中的位置。与使用固定位置嵌入的《Attention is all you need》不同，应用可学习位置嵌入能使结果更加稳健。

推荐中的三向交互建模

为了在给定元路径的情况下对用户 接受项目 的概率进行建模，MTRec 采用在知识图谱嵌入中普遍使用的“翻译”的概念。在知识图谱中，边可以表示为<头实体、关系、尾实体>，其中头实体和尾实体是节点，关系是它们之间的边。基于翻译的知识图谱嵌入将关系嵌入 建模为从头嵌入 到尾嵌入 的平移： 。受基于翻译的知识图谱嵌入方法的启发，设计了基于 HIN 的推荐的预测层，它的思想是元路径可以被视为从用户到项目的翻译。推荐的预测层定义如下：

其中Path( ， )表示连接用户 和项目 的所有元路径， 表示用户 将与项目 交互的可能性。

如果连接用户 和项目 的元路径 指示 将与 交互的可能性很高，则 应该接近 . 与基于翻译的知识图谱嵌入（头实体和尾实体的嵌入属于同一空间）不同，用户嵌入 、元路径嵌入 和项目嵌入 属于 MTRec 中三个不同的向量空间。因此，与基于翻译的知识图谱嵌入方法相比，MTRec 采用了更加异构的翻译机制来建模三向交互。

利用“翻译”来建模三向交互的一个副产品是加强基于 HIN 推荐的可解释性。如果元路径 在将 标记为推荐的过程中起重要作用，则 的表示（例如 ）和 之间的 L2 距离应该很小，其中 是用户 很可能接受的项目（即 很大）。因此，可以计算连接地面真实用户-项目对的每个元路径的表示与对应的表示 （本文称之为参考表示）之间的 L2 距离，以解释哪条元路径对推荐贡献最大。

基于HIN的推荐损失函数

对于基于 HIN 的推荐任务，利用负采样来训练模型。具体地说，对于每个 epoch 中的训练集中的每个用户 统一采样 个项目，（即 ）。用户 尚未与训练集中 内的任何项目交互。将二元交叉熵损失修改为如下目标函数：

有关文章后半部分的细节内容：

• 辅助任务：HIN的链路预测

• 基于HIN的推荐的多任务学习

• 实验

请关注下期推送。