使用jieba所遇到的bug

43 阅读 0 评论 29 点赞

我是靠谱客的博主留胡子发带，最近开发中收集的这篇文章主要介绍使用jieba所遇到的bug，觉得挺不错的，现在分享给大家，希望可以做个参考。

1.在spark与结巴结合使用时，在主节点load一次字典，该字典只存在于spark的driver里面，但是worker进程无法共享这段内存，会导致分词时字典没用上，解决方法，在每个mapPartitions函数里添加jieba字典标识位（jieba.dt.initialized）：

if not jieba.dt.initialized:
    jieba.load_userdict('user_dict.txt')

2.jiaba的字典也可以直接传入set形式，因其源码书写并不规范化：

3.repr()函数的作用是将dict或set等形式转为string

以上就是留胡子发带为你收集整理的使用jieba所遇到的bug的全部内容，希望文章能够帮你解决使用jieba所遇到的bug所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。