哈哈~自己的分词包发布!

    技术2022-05-11  76

    呵呵,在JAVA下搞了不少的时间了,写了个带词性标注的中文分词的包!

    由于本来公司应用的对于分词的精度要求并不是太高,所以暂时实现了一个没用加入歧义消除的包!

    采用的基本方法是, 正向匹配,反向匹配,人名,地名,西文名,词缀部门名,数量词识别。

    并且可以按照给定的tag来保留应用所需要的词性的词汇,比如相关新闻计算时,保留动名,名词等词性的就可以了!

    性能:load词库需要1s,分词340个需要17-8毫秒。

    有兴趣的朋友可以跟帖或者留言进行交流!

     


    最新回复(0)