DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

简介：学习用户行为背后的复杂特征交互对于推荐系统的CTR预估是很重要的，任务是预测用户点击推荐项目的概率。在在线广告中，提升收益是很重要的。所以排序策略成了CTR*bid,bid就是如果被一个用户点击了，系统的收益。对CTR预估来说，了解用户行为的隐含关联是很重要的，例如我们发现人们经常在饭点下载外卖app。

    一般来说，用户单击行为背后的特性交互操作可能非常复杂，低阶和高阶特性交互都应该发挥重要作用。关键的挑战是如何有效地对特征交互进行建模。一些特性交互可以很容易理解，因此可以由专家设计(如上面的实例)。尽管例如FTRL的广义线性模型已经展示了实践中良好的效果。然而，线性模型缺乏学习特征相互作用的能力，通常的做法是将成对的特征相互作用手工地包含在其特征向量中。这种方法很难推广到高阶特征交互模型中，也很难推广到训练数据中从未出现或很少出现的特征交互模型中。

FM将两两特征相互作用作为特征间潜在向量的内积进行建模，得到了很有前景的结果。虽然FM在理论上可以对高阶特征交互进行建模，但在实际中由于复杂度高通常只对2阶进行建模。深度神经网络作为一种学习特征表示的有效方法，具有学习复杂特征交互的潜力。

深度神经网络作为一种学习特征表示的有效方法，具有学习复杂特征交互的潜力。可以看出，现有的模型偏向于低阶或高阶的特性交互，或者依赖于特性工程。在本文中，我们证明了推导出一个学习模型是可能的，该模型能够以端到端方式学习所有顺序的特征交互，除了原始特征外，不需要任何特征工程。

DeepFM

我们的目标是学习低阶和高阶特性交互.如图所示，

DeepFM包括两部分，FM部分和深度部分，分享相同的输入。

联合预测模型

FM部分

FM组件是一种因子分解机，通过学习特征交互进行推荐。除了特征间的线性(order-1)相互作用外，FM还将特征间的相互作用成对地(order-2)作为各自特征潜在向量的内积进行建模。它可以比以前的方法更有效地捕获顺order-2特性交互，特别是在数据集稀疏的情况下.

FM的输出

深度神经网络部分

深度部分是一种用于学习高阶特征交互的前馈神经网络。

这就提出了一种嵌入层，将输入向量压缩为一个低维、密集的实值向量，然后再将其注入到第一个隐藏层，否则网络就会被过度训练。

前馈神经网络的过程

需要指出的是，FM和Deep部分共享相同的特征嵌入。好处是：它从原始特性中学习低阶和高阶的真实交互，无需对输入端进行专门的特征工程。

最后

以上就是帅气导师为你收集整理的DeepFM: A Factorization-Machine based Neural Network for CTR Prediction的全部内容，希望文章能够帮你解决DeepFM: A Factorization-Machine based Neural Network for CTR Prediction所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。