呵呵,在JAVA下搞了不少的时间了,写了个带词性标注的中文分词的包!
由于本来公司应用的对于分词的精度要求并不是太高,所以暂时实现了一个没用加入歧义消除的包!
采用的基本方法是, 正向匹配,反向匹配,人名,地名,西文名,词缀部门名,数量词识别。
并且可以按照给定的tag来保留应用所需要的词性的词汇,比如相关新闻计算时,保留动名,名词等词性的就可以了!
性能:load词库需要1s,分词340个需要17-8毫秒。
有兴趣的朋友可以跟帖或者留言进行交流!