1. 首页
  2. 文章中心
  3. 深度学习理论

Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification解读1. 概述2. 词嵌入bi-lstm3. attention4. 输出

62 阅读 0 评论
我是靠谱客的博主 积极背包，最近开发中收集的这篇文章主要介绍Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification解读1. 概述2. 词嵌入bi-lstm3. attention4. 输出，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1. 概述

本篇论文模型框架共有五部分：
第一：输入层，输入的为每个句子
第二：嵌入层，将句子中的字转换为向量
第三：lstm层
第四：attention层，通过乘以权重向量，产生新的权重向量，并将每个时间步长的词级特征合并为句子级特征向量;
第五：输出层
在这里插入图片描述

2. 词嵌入

词嵌入的基本原理为
在这里插入图片描述
其中 e i e_i ei​即词的向量，他是通过一个矩阵W与一个单位矩阵相乘得到。

bi-lstm

本文使用双向的lstm模型，在lstm框架中，每一层的公式如下：
在这里插入图片描述
lstm结果是前向网络和反向网络的输出相加，并加得到的最终结果传入attention当中

3. attention

attenttion机制简单来说就是赋予权重，在本文中，attention公式如下：
在这里插入图片描述
在这里插入图片描述
其中H就是LSTM层产生向量[h1，h2，…。。 ，hT]构成的矩阵。
ω omega ω为参数矩阵。

4. 输出

本文在最终输出时，使用了softmax激活函数得到最终每个类别的概率。

最后

以上就是积极背包为你收集整理的Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification解读1. 概述2. 词嵌入bi-lstm3. attention4. 输出的全部内容，希望文章能够帮你解决Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification解读1. 概述2. 词嵌入bi-lstm3. attention4. 输出所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(41)

相关文章

【文本分类】Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification [1] 摘要 [2] 模型 [3] 代码复现[4] 获取本项目的源代码
【文本分类】Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification [1] 摘要 [2] 模型 [3] 代码复现[4] 获取本项目的源代码
论文浅尝｜《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》导读一、选题背景二、贡献三、基本概念四、模型构建五、实验开展六、结果
论文浅尝｜《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》导读一、选题背景二、贡献三、基本概念四、模型构建五、实验开展六、结果
Attention-Based Bidirectional Long Short-Term Memory Networks for
Attention-Based Bidirectional Long Short-Term Memory Networks for
【读】关系抽取—（1）Attention-Based Bidirectional Long Short-Term Memory Networks for Relation ClassificationAbstract1 Introduction2 Related work3 Model4 Experiments5 ConclusionLINKNOTE
【读】关系抽取—（1）Attention-Based Bidirectional Long Short-Term Memory Networks for Relation ClassificationAbstract1 Introduction2 Related work3 Model4 Experiments5 ConclusionLINKNOTE
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification解读1. 概述2. 词嵌入bi-lstm3. attention4. 输出
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification解读1. 概述2. 词嵌入bi-lstm3. attention4. 输出
EXCEL基础知识
EXCEL基础知识
计算机execl必背知识点,【分享】Excel必备基础知识（1）
计算机execl必背知识点,【分享】Excel必备基础知识（1）
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

评论列表共有 0 条评论

立即
投稿
返回
顶部