在使用 solr/lucene 的时候,对于中文,大家都使用什么Analyzer

现在要在 solr 上做搜索相关的工作,但对于中文,不知道用哪个分词器好?最早在使用lucene 的时候用过 Paoding (庖丁 http://code.google.com/p/paoding/),然后也用过 IKAnalyzer(http://code.google.com/p/ik-analyzer/),但都只是试用,没有在正式产品中用过。不知道大家都用什么样的分词器?或者有什么推介的?

阅读 6.7k
评论
    4 个回答

    分词这种东西还是要看场景的..算法大家都差不多了..CRF 、HMM之类的很多分词器都在用..我觉得还是字典才是王道啊...哈哈..
    推荐分词器的话..我建议用ICTCLAS...中科院开发的..不过是基于c/cpp的..java使用的话可能要用JNI来调用..而且也有商用版本.
    如果你需求不是很强烈..或者没什么条件购买之类的..那么用这个吧http://code.google.com/p/imdict-chine...
    这个也是基于ICTCLAS的实现的HMM思想..but free...我毕业设计的时候用的就是这个..足够了..

      • 5.1k

      SF是用IK的,楼上说的对,关键是字典。

        • 317

        我们平时都用IK 然后自己加一些字典 比如去找搜狗输入法的字典

          我是用的盘古分词做的。

            就用盘古分词做就够用了。

              撰写回答

              登录后参与交流、获取后续更新提醒

              相似问题
              推荐文章