概述
如果两个string column做笛卡尔积的jaccard距离计算，即使按 https://blog.csdn.net/guotong1988/article/details/111594617
计算，速度也是很慢，
所以要先做一步粗召回，用string column1的前几个字（或者ngram）作为key1，用string column2的前几个字（或者ngram）作为key2，然后key1 join key2，即得到粗召回的结果，再每行计算jaccard距离
最后
以上就是凶狠毛衣为你收集整理的Spark 文本按jaccard或编辑距离join的速度进一步优化的全部内容，希望文章能够帮你解决Spark 文本按jaccard或编辑距离join的速度进一步优化所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复