基于注意力机制的lstm实现_IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)...

Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks

Jun Xiao, Hao Ye, Xiangnan He, Hanwang Zhang, Fei Wu, Tat-Seng Chua 

Zhejiang University, National University of Singapore

https://www.ijcai.org/Proceedings/2017/0435.pdf

分解机是一种有监督学习方法，通过融入二阶特征交互对线性回归模型进行增强。虽然这种方法比较有效，但是它将所有特征交互赋予相同的权重，这种操作具有一定局限性，因为并不是所有的特征交互同样有用，或者预测能力也有所差异。比如，无用的特征交互可能会引入噪声，进而模型性能会下降。

这篇文章，通过区别不同特征交互的重要性对FM进行了改进。作者们提出一种新的模型，注意力分解机(AFM)，利用神经注意力网络从数据中学习每个特征交互的重要性。

作者们在两个真实数据集上进行了实验，验证了AFM的有效性。结果表明，在回归任务中，AFM相对FM可以提升8.6%，并且优于之前效果比较好的深度学习方法，Wide & Deep，以及DeepCross。这种模型的优势在于结构比较简单，模型参数较少。

关于特征交互，部分现有方法具有一定的缺陷

FM的形式及简介如下

FM的缺陷在于

作者们所提网络结构图示如下

成对式交互层简介以及跟FM的关系如下

基于注意力的池化层简介如下

下面是比较流行的防止过拟合的方法以及在作者们所提模型中使用的细节简介

作者们所提方法跟GBFM的区别在于，AFM可以学习特征交互的重要性

此外，AFM相对Wide & Deep和DeepCross的解释性更强

作者们所用的数据集以及特征数描述如下

评估标准如下

参与对比的几种方法简介如下

几种方法的参数设置如下

dropout对模型效果影响图示如下

不同的正则系数对模型效果影响如下

不同的注意力因子对模型效果影响如下

注意力对模型效果影响图示如下

几种方法的效果比较如下

代码地址:

https://github. com/hexiangnan/attentional factorization machine

              我是分割线

您可能感兴趣

KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)

SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)

WWW2019|图神经网络在社交推荐中的应用

AAAI2019|自注意力度量学习在下一个商品推荐中的应用

WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用

WWW2015|深度学习在推荐系统跨域用户建模中的应用

ICDE2020|多图卷积网络在草药推荐中的应用

ATM|注意力转移模型在预测下一个商品中的应用

IJCAI2019|深层自注意力网络在序列推荐中的应用

AAAI2020|深度学习在表格分析中的应用

NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用

ICDE2020|基于深度学习的关系抽取

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)

AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)

ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)

SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)

SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)

SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)

KDD2018|基于GBM的动态定价回归模型

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)

IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN

聊聊CatBoost

聊聊XGBoost CatBoost LightGBM RF GBDT

顶会中深度学习用于CTR预估的论文及代码集锦 (3)

ICML 2018 深度学习论文及代码集锦(5)

深度学习用于文本摘要的论文及代码集锦

深度学习用于机器翻译的论文及代码集锦

深度学习用于序列标注中的论文及代码集锦

深度学习在推荐系统中的应用及代码集锦(4)

深度学习在OCR中的应用论文及代码集锦 (2)