概述
文章大纲
- NLP 领域样本增强技术都有哪些
- 回译技术简介
- 使用百度翻译进行回译文本增强的脚本
- 扩展后的结果
- 参考文献
NLP 领域样本增强技术都有哪些
-
同义词替换（SR: Synonyms Replace）：不考虑stopwords，在句子中随机抽取n个词，然后从同义词词典中（wordnet）随机抽取同义词，并进行替换。
-
随机插入(RI: Randomly Insert)：不考虑stopwords，随机抽取一个词，然后在该词的同义词集合中随机选择一个，插入原句子中的随机位置。该过程可以重复n次。
-
随机交换(RS: Randomly Swap)：句子中，随机选择两个词，位置交换。该过程可以重复n次。
-
随机删除(RD: Randomly Delete)：句子中的每个词，以概率p随机删除。
-
基于词向量的替换
基于同义词的替换由于一词多义问题的存在，可能会使替换后的文档语义发生改变，基于词embeddings的替换可在一定程度上避免上述问题。假如已经获得词向量（Word2Vec, GloVe, FastText, Sent2Vec，BERT等），在词向量空间，选择与
最后
以上就是唠叨鲜花为你收集整理的《自然语言处理实战入门》---- 文本样本扩展小技巧：使用回译技术进行样本增强回译技术的全部内容，希望文章能够帮你解决《自然语言处理实战入门》---- 文本样本扩展小技巧：使用回译技术进行样本增强回译技术所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复