Pytorch Bert源码解读
Bert 源码解析从 CV 转 NLP 有小半年了,一直在用 Bert 系列做一些自然语言理解任务,包括命名实体识别、关系抽取,文本结构化等信息抽取任务。之前开发任务紧,Bert 拿来就用了,很多代码只知其然而不知其所以然,今日好好读了一下 BERT Pytorch 版本的源码,并逐行做了注释记录,遂开辟 NLP 菜鸟系列,随缘更新一些文章,供基础玩家阅读与学习。耐心读下来,整个 Bert 流程可以轻松读懂BertModelimport torchimport mathimport torch.