概述
文本相似度 Text Similarity
若需计算文本间的相似度，需解决以下两方面问题：
1、文本向量化：如何将文本转换为可计算的向量，即embedding。
2、相似度计算：如何计算得到向量的相似度 similarity。
相似度计算
余弦相似度
计算两个向量的余弦夹角
当余弦夹角越小，余弦值越接近1，即认为两者方向一致
当余弦夹角越接近90度（正交），余弦值越接近0，即认为两者方向不一致。
当余弦夹角越接近180度，余弦值越接近-1，即认为两者方向相反。
余弦相似度—百度百科
文本向量化
BERT
使用开源BERT模型，得到每个字的向量，取平均，作文本向量。
SBERT
在BERT基础上搭建模型训练。
Sentence-BERT详解
Universal Sentence Encoder(USE)
一种通用句子编码：Universal Sentence Encoder
Siamese Manhattan LSTM model
git地址
参考文档
- Best Algorithms to use for text similarity
最后
以上就是要减肥美女为你收集整理的文本相似度 Text Similarity文本相似度 Text Similarity的全部内容，希望文章能够帮你解决文本相似度 Text Similarity文本相似度 Text Similarity所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复