概述
《Optimal Subarchitecture Extraction For BERT》
用神经网络搜索的方法寻找一个最优的BERT：
最终寻到的最优BERT：
其中
D是transformer encoder层数
A是attention heads
H是hidden size
I是intermediate layer size
对比了 普通预训练 和 基于蒸馏的预训练（下面第二第三列）：
最后
以上就是飘逸柜子为你收集整理的BORT 阅读笔记的全部内容，希望文章能够帮你解决BORT 阅读笔记所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复