Java日文分词器之Kuromoji

59 阅读 0 评论 39 点赞

我是靠谱客的博主负责小熊猫，最近开发中收集的这篇文章主要介绍Java日文分词器之Kuromoji，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Kuromoji是一个开源的，基于java语言开发的轻量级的日文分词工具包。捐赠给了ASF之后被内置在Lucene 和 Solr中，作为默认的日文分词器（默认的中文分词器是smartcn）。但他也不依赖Lucene 或 Solr，可以单独使用。采用维特比算法（Viterbi algorithm），默认使用IPA字典。

其他有名的还有lucene-gosen ：http://code.google.com/p/lucene-gosen/ 以及Google・Amazon・楽天等日本大的搜索引擎使用的Rosette ：http://www.basistech.jp/base-linguistics/japanese/ 。Rosette是商业版的，能够适用于很多语言，比如：中文，日文，韩文，英文等等。

http://www.atilika.org/

版本：kuromoji-0.7.7.jar

（1）2行代码即可分词