粗暴彩虹

文章
8
资源
0
加入时间
3年0月20天

自然语言处理(NLP)-模型常用技巧:Normalization【Batch Norm、Layer Norm】一、为什么对数据归一化二、数据进行归一化标准化常用的方法

对于NLP中 Mask 的作用(ps:padding mask 和 sequence mask不是官方命名):Padding mask:处理非定长序列,区分padding和非padding部分,如在RNN等模型和Attention机制中的应用等Sequence mask:防止标签泄露,如:Transformer decoder中的mask矩阵,BERT中的[Mask]位,XLNet中的mask矩阵等一、Padding Mask【处理非定长序列】在NLP中,文本一般是不定长的,所以在进行 batc

数据分析第1周——七种思维技巧

1、象限法:按照不同数据维度数值高低将用户群进行划分和分类(如价值度、流失度、消费金额、消费频率高低等)2、多维法:按照同一属性不同值对用户群进行划分和分类(如所在地、喜爱的电影类型、年龄等)多维法缺陷,数据会因为受“未做分析的维度”的影响,得出的结果会发生偏差甚至相反。辛普森悖论解决方法:钻取——对数据分析粒度更细,规避悖论3、假设法:无数据情况下的分析 )——经验支撑...