ik添加词库

原文链接:https://my.oschina.net/jsonyang/blog/1643032

2019独角兽企业重金招聘Python工程师标准>>> 

ik添加词库

IK分词器作为一个开源软件,分词功能非常强大,一般场合的分词需求,他都可以完胜。但是对于专业术语和行业用词,ik有点不太智能,不过IK已经很棒了!下面我就介绍下如何手动添加热词文件的形式来拓展ik认知能力(分词索引)。

第一步:我们需要收集我们需要的行业术语,dic文件。

我们可以先去ik插件的config文件下,已经有很多的dic文件。这就是ik自己的热词。

ik添加词库

我自己加了一个叫hwtest.dic文件

ik添加词库

我加了两个词,注意每个热词是需要换行的。在我重启es的时候我先去看下这两个词是不是又被分词了

ik添加词库

ik添加词库

现在看起来这两个词ik并不能认为是一个完整的词。

现在把该dic文件配置ik/config/IKAnalyzer.cfg.xml文件内。

先看下这个文件内容

ik添加词库

我现在把hwtest.dic配置到<entry key=”ext_dict”></ectry>内部。然后重启es。

大家可以看下启动日志

ik添加词库

hwtest.dic已经加载进去

ik添加词库

ik添加词库

大家看下“上海arthur”已经作为了一个完整的词。所以到时候如果存储该热词即可被索引成一个词。

手动添加拓展词库已经完成!

来源:司江龙

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2019年7月9日
下一篇 2019年7月9日

相关推荐