fine-tun有两种形式，google官网给出的run_classifier.py示例，是利用行业数据对bert的所有参数做微调。将text_a和text_b串接，最后层做一个二分类。
而另一种形式，是exact_featrue.py，保存bert特征作为输入，训练自己的较浅的神经网络模型。
ｇｏｏｇｌｅ文献说ｆｉｎｅ－ｔｕｎｅ 所有参数的效果优于调整最后若干层。实验结果展示效果相近（个人认为我第二种方法额外添加层数较多相关）。
最后
以上就是专注鼠标最近收集整理的关于基于bert BERT 的中文问答系统谈fine-tune的全部内容，更多相关基于bert内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![【NLP】BERT常见问题汇总1.讲讲bert的结构2.为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？3.使用BERT预训练模型为什么最多只能输入512个词，最多只能两个句子合成一句？4.为什么BERT在第一句前会加一个[CLS]标志?5.BERT非线性的来源在哪里？6.BERT的三个Embedding直接相加会对语义有影响吗？7.什么任务适合bert，什么任务不适合？8.为什么 BERT 比 ELMo 效果好？9.ELMo 和 BERT 的区别是什么？](/uploads/reation/bcimg7.png)
发表评论 取消回复