soft-masked-bert

95 阅读 0 评论 63 点赞

我是靠谱客的博主调皮柠檬，最近开发中收集的这篇文章主要介绍soft-masked-bert，觉得挺不错的，现在分享给大家，希望可以做个参考。

整体公式如下:

$h_{i}^{d}=gru(h_{i-1}^{d})$

$p(g_{i}=1|xi)=sigmoid(wh_{i}+b)$

$e_{i}^{'}=p_{i}*e_{mask}+(1-p_{i})*e_{i}$

$p_{coef}=softmax(wh_{i}+b)$

$lcoef=ce(p_{coef})$

$h_{'}^{i}=12-transformer(h_{'}^{i})$

$h_{i}^{'}=h_{i}+e_{i}$

$p(y=j|x)=softmax(wh_{i}^{'}+b)$

$l=lambda *l_{coef}+(1-lambda )*l_{vocab}$

总结:

门控机制引入，类比于lstm/gru，进行e_i 和 e_mask的融合，门控机制通过sigmoid(gru) 进行计算, 同时 ce(fc(gru))可以计算是否coef的判别

纠错和预测作为multi-task

创新点: 门控机制的类比，是参差网络的一种类似的结构，更多的信息处理，对e_mask和e_i进行门控融合;业务层面引入e_mask作为对coef错误的替代;

bert-encoder和bert-embedding拆开，bert-embedding引入融合门控信息后的embedding

以上就是调皮柠檬为你收集整理的soft-masked-bert的全部内容，希望文章能够帮你解决soft-masked-bert所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。