ES分詞器-IK

1、為什么使用分詞器？

es在創(chuàng)建倒排索引時需要對文檔分詞；在搜索時，需要對用戶輸入內(nèi)容分詞。但默認(rèn)的分詞規(guī)則對中文處理并不友好。

我們在kibana的DevTools中測試：

GET /_analyze
{"analyzer": "ik_max_word","text": "程序員學(xué)習(xí)java太棒了"
}

語法說明：

• POST：請求方式

• /_analyze：請求路徑，這里省略了http://192.168.12.131:9200，有kibana幫我們補(bǔ)充

• 請求參數(shù)，json風(fēng)格：

  • analyzer：分詞器類型，這里是默認(rèn)的standard分詞器

  • text：要分詞的內(nèi)容

由于kibana無法識別中文詞匯，在沒有使用IK分詞器的情況下每一個中文會逐字進(jìn)行識別保存查詢，所以對效率和內(nèi)存的耗損都有一些代價(jià)。

處理中文分詞，一般會使用IK分詞器。IK分詞器GitHub官網(wǎng)

安裝IK分詞器，參考資料《安裝elasticsearch.md》：

ik分詞器包含兩種模式（“analyzer”中添加）：

• ik_smart：最少切分，粗粒度

• ik_max_word：最細(xì)切分，細(xì)粒度（分詞之后的詞語更多）

問題來了，ik分詞器是怎樣進(jìn)行分詞的？

ik分詞器是一種基于字典和規(guī)則的中文分詞器，其分詞過程可以簡要描述如下：

1. 文本預(yù)處理：首先將輸入的文本進(jìn)行預(yù)處理，包括去除特殊字符、停用詞等操作。

2. 正向最大匹配：ik分詞器采用正向最大匹配算法，即從左向右掃描文本，在詞典中查找以當(dāng)前位置開始的最長匹配詞。

3. 詞典匹配：ik分詞器使用內(nèi)置的詞典來匹配詞語。如果當(dāng)前位置的字符組合在詞典中找到了匹配的詞語，則將其作為一個詞語輸出。

4. 細(xì)粒度切分：當(dāng)出現(xiàn)歧義情況時，ik分詞器會根據(jù)一定的規(guī)則進(jìn)行細(xì)粒度切分，以解決歧義問題。

5. 返回結(jié)果：最終將分詞結(jié)果返回給用戶，用戶可以根據(jù)需要進(jìn)行后續(xù)的文本處理或分析。

總的來說，ik分詞器通過詞典匹配和規(guī)則處理的方式對中文文本進(jìn)行分詞，以實(shí)現(xiàn)對文本的有效切分。

2、ik分詞器-拓展和停用詞條

假如現(xiàn)在有需求，字典實(shí)現(xiàn)個性化設(shè)置，比如說不能出現(xiàn)有關(guān)政治或國家領(lǐng)導(dǎo)人的關(guān)鍵詞匯，過濾黃賭毒等關(guān)鍵詞匯等，還有沒有意思的詞語如“的”等，而且詞匯隨著時代進(jìn)步也會產(chǎn)生許多，也需要不含在字典里面。

1. 要拓展ik分詞器的詞庫，只需要修改一個ik分詞器目錄中的config目錄中的IkAnalyzer.cfg.xml文件：

   

   <?xml version="1.0" encoding="UTF-8"?>
   <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
   <properties><comment>IK Analyzer 擴(kuò)展配置</comment><!--用戶可以在這里配置自己的擴(kuò)展字典 --><entry key="ext_dict">ext.dic</entry><!--用戶可以在這里配置自己的擴(kuò)展停止詞字典--><entry key="ext_stopwords">stopword.dic</entry><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展停止詞字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> -->
   </properties>
   

2. 然后在名為ext.dic和stopword.dic的文件中，添加想要拓展的詞語即可（沒有記得在config目錄下創(chuàng)建）：

   曼諾爾
   雷迪亞茲
   白嫖
   

3. 重啟（docker restart es）測試

   GET /_analyze
   {"analyzer": "ik_smart","text": "曼諾爾雷迪亞茲真是個可惡的白嫖的人"
   }
   

   {"tokens" : [{"token" : "曼諾爾","start_offset" : 0,"end_offset" : 3,"type" : "CN_WORD","position" : 0},{"token" : "雷迪亞茲","start_offset" : 3,"end_offset" : 7,"type" : "CN_WORD","position" : 1},{"token" : "真是","start_offset" : 7,"end_offset" : 9,"type" : "CN_WORD","position" : 2},{"token" : "個","start_offset" : 9,"end_offset" : 10,"type" : "CN_CHAR","position" : 3},{"token" : "可惡","start_offset" : 10,"end_offset" : 12,"type" : "CN_WORD","position" : 4},{"token" : "白嫖","start_offset" : 13,"end_offset" : 15,"type" : "CN_WORD","position" : 5},{"token" : "的人","start_offset" : 15,"end_offset" : 17,"type" : "CN_WORD","position" : 6}]
   }