Elasticsearch搜索引擎第三篇-ES集成IKAnalyzer中文分词器 - Go语言中文社区

Elasticsearch搜索引擎第三篇-ES集成IKAnalyzer中文分词器



在Lucene和Solr中讲到,集成中文分词器是相对比较麻烦的,需要我们自定义类并打成对应的jar包,在Elasticsearch中,我们不需要这么麻烦,因为已经有现成的插件可以使用。

获取ES-IKAnalyzer插件

下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases
这里一定要获取和Elasticsearch版本一致的。有Linux和Windows版本。

安装插件

将 ik 的压缩包解压到 ES安装目录的plugins/目录下(最好把解出的目录名改一下,防止安装别的插件时同名冲突),然后重启ES

扩展词库

插件中自带了一些扩展词和停用词,可以根据需要进行添加
在这里插入图片描述
在config/IKAnalyzer.cfg.xml中配置引用哪些停用词和扩展词,还可以配置远程的词库,只需要在一个地方维护就可以实现热更新

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">extra_main.dic;extra_single_word_full.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">extra_stopword.dic;stopword.dic</entry>
	<!--用户可以在这里配置远程扩展字典,实现热更新 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停用词字典,实现热更新-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

Kibana测试

使用Kibana的Dev Tools界面测试,输入以下一些命令,会自动转换会对应的Kibana命令。
在这里插入图片描述

创建一个索引

curl -XPUT http://localhost:9200/index

创建一个映射mapping

curl -XPOST http://localhost:9200/index/fulltext/_mapping -H 'Content-Type:application/json' -d '{ 
"properties": {
            "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word"
            }
        }
}'

提交一些索引数据

curl -XPOST http://localhost:9200/index/fulltext/1 -H 'Content-Type:application/json' -d'{"content":"美国留给伊拉克的是个烂摊子吗"}'
curl -XPOST http://localhost:9200/index/fulltext/2 -H 'Content-Type:application/json' -d'{"content":"公安部:各地校车将享最高路权"}'
curl -XPOST http://localhost:9200/index/fulltext/3 -H 'Content-Type:application/json' -d'{"content":"中韩渔警冲突调查:韩警平均每天扣1艘中国渔船"}'

搜索

curl -XPOST http://localhost:9200/index/fulltext/_search  -H 'Content-Type:application/json' -d '{
    "query" : { "match" : { "content" : "中国" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/supermao1013/article/details/83956900
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢