文本相似性计算总结(余弦定理,simhash)及代码
最近在工作中要处理好多文本文档,要求找出和每个文档的相识的文档。通过查找资料总结如下几个计算方法: 1、余弦相似性 我举一个例子来说明,什么是"余弦相似性"。 为了简单起见,我们先从句子着手。 请问怎样才能计算上面两句话的相似程度? 基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。...