庖丁解牛分词器增加对日文,韩文分词的支持
项目中发现采用庖丁解牛分词器对含有日文的文字都被过滤掉,所以发了一封邮件给qieqie前辈。qieqie前辈的回复:在paoding中,中文、日文、韩文成为CJK,使用的是CJKKnife来切词; CJKKnife依赖词典来工作,对于一点文字而言,可分为两种情况,1、能找到何词典匹配的词,这时paoding应该会切出该词汇(当然也可能不会切出,具体问题具体分析)2、不能从词典找