【论文导读】融合FM的Wide&Deep---DeepFM模型

48 阅读 0 评论 32 点赞

我是靠谱客的博主羞涩宝贝，最近开发中收集的这篇文章主要介绍【论文导读】融合FM的Wide&Deep---DeepFM模型，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

前言

本次分享一篇2017年由哈工大与华为联合发表的论文“DeepFM：A Factorization-Machine based Neural Network for CTR Prediction”。DeepFM在现在也是很多模型比较的Baseline，因此详细的对其进行介绍并简单的复现。

本文约2.5k字，预计阅读15分钟。

DeepFM

DeepFM模型[1]是2017年由哈工大与华为联合提出的模型，与之前讲过的DCN模型[2]一样，也是对Wide&Deep模型[3]的改进。与DCN不同的是，DeepFM模型是将Wide部分替换为了FM模型，增强了模型的低阶特征交互的能力。关于低阶特征交互，文章的Introduction中也提到了其重要性，例如：

1、用户经常在饭点下载送餐APP，故存在一个2阶交互：app种类与时间戳；

2、青少年喜欢射击游戏和RPG游戏，存在一个3阶交互：app种类、用户性别和年龄；

用户背后的特征交互非常的复杂，低阶和高阶的特征交互都是很重要的，这也证明了Wide&Deep这种模型架构的有效性。DeepFM是一种端到端的模型，强调了包括低阶和高阶的特征交互接下来直接对DeepFM模型架构进行介绍，并与其他之前提到过的模型进行简单的对比。

模型结构

DeepFM的模型结构非常简单，由Wide部分与Deep部分共同组成，如下图所示：

在论文中模型的目标是共同学习低阶和高阶特征交互，应用场景依旧是CTR预估，因此是一个二分类任务（表示用户点击物品，则表示用户未点击物品）

Input与Embedding层

关于输入，包括离散的分类特征域（如性别、地区等）和连续的数值特征域（如年龄等）。分类特征域一般通过one-hot或者multi-hot（如用户的浏览历史）进行处理后作为输入特征；数值特征域可以直接作为输入特征，也可以进行离散化进行one-hot编码后作为输入特征。

对于每一个特征域，需要单独的进行Embedding操作，因为每个特征域几乎没有任何的关联，如性别和地区。而数值特征无需进行Embedding。

Embedding结构如下：

文章中指出每个特征域使用的Embedding维度都是相同的。

【注】与Wide&Deep不同的是，DeepFM中的Wide部分与Deep部分共享了输入特征，即Embedding向量。

Wide部分---FM

FM模型[4]是2010年Rendle提出的一个强大的非线性分类模型，除了特征间的线性(1阶)相互作用外，FM还将特征间的(2阶)相互作用作为各自特征潜向量的内积进行j建模。通过隐向量的引入使得FM模型更好的去处理数据稀疏行的问题，想具体了解的可以看一下原文。DeepFM模型的Wide部分就直接使用了FM，Embedding向量作为FM的输入。

其中，表示1阶特征，表示第个隐向量，表示隐向量的维度，

表示2阶特征。

具体的对于2阶特征，FM论文中有下述计算（采取原文的描述形式），为线性复杂复杂度：

Deep部分

Deep部分是一个前向传播的神经网络，用来学习高阶特征交互。

Output层

FM层与Deep层的输出相拼接，最后通过一个逻辑回归返回最终的预测结果：

相比较于其它神经网络

本篇文章还将DeepFM与其他模型进行了对比：

1、FNN：FNN模型[5]针对Embedding层训练参数大而导致模型的收敛速度慢这一问题，提出了使用FM模型对Embedding矩阵进行预训练。相比于DeepFM，FNN的缺陷是

（1）并不是一个端到端的模型；

（2）通过FM预训练Embedding，限制了隐向量的表达能力；

（3）FNN只能捕获高阶特征；

2、PNN：PNN的详细介绍见【论文导读】深入理解PNN模型---加入Product层。然而，作者发现外积比内积更不可靠，因为外积的近似计算丢失了很多信息，使得结果不稳定。内积虽然更可靠，但计算复杂度较高。像FNN一样，PNN也忽略了低阶特征交互。

3、Wide&Deep：Wide&Deep具体介绍见【论文导读】Wide&Deep模型的深入理解。该模型Wide部分与Deep部分输入并不共享，Wide部分仍然需要专业知识。相反，DeepFM不需要这样的专业知识来处理输入。

总结：

DeepFM的Wide部分与Deep部分输入共享，Embedding的共享策略是通过低阶和高阶特征交互来影响特征表示，从而更精确地对特征表示进行建模。

实验

最终的实验结果如下，具体的可以查看原文：https://arxiv.org/abs/1703.04247。

代码复现

关于模型复现，并没有完全按照DeepFM模型的结构。FM部分的输出结果与Deep部分的输出结果替换为单一的输出值，通过加权相加后经过sigmoid得到最终的输出结果。

FM部分：

class FM(layers.Layer):
 """
 Wide part
 """
 def __init__(self, k):
  """

  :param k: the dimension of the latent vector
  """
  super(FM, self).__init__()
  self.k = k

 def build(self, input_shape):
  self.w0 = self.add_weight(name='w0', shape=(1,), initializer=tf.zeros_initializer())
  self.w = self.add_weight(name='w', shape=(input_shape[-1], 1),
         regularizer=regularizers.l2(0.01))
  self.V = self.add_weight(name='V', shape=(self.k, input_shape[-1]),
         regularizer=regularizers.l2(0.01))

 def call(self, inputs):
  # first order
  first_order = self.w0 + tf.matmul(inputs, self.w)
  # second order
  second_order = 0.5 * tf.reduce_sum(
   tf.pow(tf.matmul(inputs, tf.transpose(self.V)), 2) -
   tf.matmul(tf.pow(inputs, 2), tf.pow(tf.transpose(self.V), 2)), axis=1, keepdims=True)
  return first_order + second_order

Deep部分：

class MLP(layers.Layer):
 """
 Deep part
 """
 def __init__(self, hidden_units, dropout_deep):
  """

  :param hidden_units: list of hidden layer units's numbers
  :param dropout_deep: dropout number
  """
  super(MLP, self).__init__()
  self.dnn_network = [Dense(units=unit, activation='relu') for unit in hidden_units]
  self.dropout = Dropout(dropout_deep)

 def call(self, inputs):
  x = inputs
  for dnn in self.dnn_network:
   x = dnn(x)
  x = self.dropout(x)
  return x

模型具体代码见：https://github.com/BlackSpaceGZY或通过【阅读原文】进入。

总结

再次阅读DeepFM论文相比第一次流畅很多。总结下DeepFM模型的优势：

端到端；
Wide部分与Deep部分共享参数；
无需手动设计特征工程；

目前开源了一个github项目，Recommended System with TF2.0，Github开源项目2.0---使用TF2.0对经典推荐论文进行复现【持续更新中...】欢迎大家star和fork。

参考文献

[1]: Guo H, Tang R, Ye Y, et al. DeepFM: a factorization-machine based neural network for CTR prediction[J]. arXiv preprint arXiv:1703.04247, 2017.
[2]: Wang R, Fu B, Fu G, et al. Deep & cross network for ad click predictions[M]//Proceedings of the ADKDD'17. 2017: 1-7.
[3]: Cheng H T, Koc L, Harmsen J, et al. Wide & deep learning for recommender systems[C]//Proceedings of the 1st workshop on deep learning for recommender systems. 2016: 7-10
[4]: Rendle S. Factorization machines[C]//2010 IEEE International Conference on Data Mining. IEEE, 2010: 995-1000.
[5]: He X, Chua T S. Neural factorization machines for sparse predictive analytics[C]//Proceedings of the 40th International ACM SIGIR conference on Research and Development in Information Retrieval. 2017: 355-364.

旅游景点树自行车分割线