ES分詞器-IK

1、為什么使用分詞器？

es在創(chuàng)建倒排索引時(shí)需要對(duì)文檔分詞；在搜索時(shí)，需要對(duì)用戶輸入內(nèi)容分詞。但默認(rèn)的分詞規(guī)則對(duì)中文處理并不友好。

我們?cè)趉ibana的DevTools中測(cè)試：

GET /_analyze
{"analyzer": "ik_max_word","text": "程序員學(xué)習(xí)java太棒了"
}

語(yǔ)法說(shuō)明：

• POST：請(qǐng)求方式

• /_analyze：請(qǐng)求路徑，這里省略了http://192.168.12.131:9200，有kibana幫我們補(bǔ)充

• 請(qǐng)求參數(shù)，json風(fēng)格：

  • analyzer：分詞器類型，這里是默認(rèn)的standard分詞器

  • text：要分詞的內(nèi)容

由于kibana無(wú)法識(shí)別中文詞匯，在沒有使用IK分詞器的情況下每一個(gè)中文會(huì)逐字進(jìn)行識(shí)別保存查詢，所以對(duì)效率和內(nèi)存的耗損都有一些代價(jià)。

處理中文分詞，一般會(huì)使用IK分詞器。IK分詞器GitHub官網(wǎng)

安裝IK分詞器，參考資料《安裝elasticsearch.md》：

ik分詞器包含兩種模式（“analyzer”中添加）：

• ik_smart：最少切分，粗粒度

• ik_max_word：最細(xì)切分，細(xì)粒度（分詞之后的詞語(yǔ)更多）

問(wèn)題來(lái)了，ik分詞器是怎樣進(jìn)行分詞的？

ik分詞器是一種基于字典和規(guī)則的中文分詞器，其分詞過(guò)程可以簡(jiǎn)要描述如下：

1. 文本預(yù)處理：首先將輸入的文本進(jìn)行預(yù)處理，包括去除特殊字符、停用詞等操作。

2. 正向最大匹配：ik分詞器采用正向最大匹配算法，即從左向右掃描文本，在詞典中查找以當(dāng)前位置開始的最長(zhǎng)匹配詞。

3. 詞典匹配：ik分詞器使用內(nèi)置的詞典來(lái)匹配詞語(yǔ)。如果當(dāng)前位置的字符組合在詞典中找到了匹配的詞語(yǔ)，則將其作為一個(gè)詞語(yǔ)輸出。

4. 細(xì)粒度切分：當(dāng)出現(xiàn)歧義情況時(shí)，ik分詞器會(huì)根據(jù)一定的規(guī)則進(jìn)行細(xì)粒度切分，以解決歧義問(wèn)題。

5. 返回結(jié)果：最終將分詞結(jié)果返回給用戶，用戶可以根據(jù)需要進(jìn)行后續(xù)的文本處理或分析。

總的來(lái)說(shuō)，ik分詞器通過(guò)詞典匹配和規(guī)則處理的方式對(duì)中文文本進(jìn)行分詞，以實(shí)現(xiàn)對(duì)文本的有效切分。

2、ik分詞器-拓展和停用詞條

假如現(xiàn)在有需求，字典實(shí)現(xiàn)個(gè)性化設(shè)置，比如說(shuō)不能出現(xiàn)有關(guān)政治或國(guó)家領(lǐng)導(dǎo)人的關(guān)鍵詞匯，過(guò)濾黃賭毒等關(guān)鍵詞匯等，還有沒有意思的詞語(yǔ)如“的”等，而且詞匯隨著時(shí)代進(jìn)步也會(huì)產(chǎn)生許多，也需要不含在字典里面。

1. 要拓展ik分詞器的詞庫(kù)，只需要修改一個(gè)ik分詞器目錄中的config目錄中的IkAnalyzer.cfg.xml文件：

   

   <?xml version="1.0" encoding="UTF-8"?>
   <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
   <properties><comment>IK Analyzer 擴(kuò)展配置</comment><!--用戶可以在這里配置自己的擴(kuò)展字典 --><entry key="ext_dict">ext.dic</entry><!--用戶可以在這里配置自己的擴(kuò)展停止詞字典--><entry key="ext_stopwords">stopword.dic</entry><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展停止詞字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> -->
   </properties>
   

2. 然后在名為ext.dic和stopword.dic的文件中，添加想要拓展的詞語(yǔ)即可（沒有記得在config目錄下創(chuàng)建）：

   曼諾爾
   雷迪亞茲
   白嫖
   

3. 重啟（docker restart es）測(cè)試

   GET /_analyze
   {"analyzer": "ik_smart","text": "曼諾爾雷迪亞茲真是個(gè)可惡的白嫖的人"
   }
   

   {"tokens" : [{"token" : "曼諾爾","start_offset" : 0,"end_offset" : 3,"type" : "CN_WORD","position" : 0},{"token" : "雷迪亞茲","start_offset" : 3,"end_offset" : 7,"type" : "CN_WORD","position" : 1},{"token" : "真是","start_offset" : 7,"end_offset" : 9,"type" : "CN_WORD","position" : 2},{"token" : "個(gè)","start_offset" : 9,"end_offset" : 10,"type" : "CN_CHAR","position" : 3},{"token" : "可惡","start_offset" : 10,"end_offset" : 12,"type" : "CN_WORD","position" : 4},{"token" : "白嫖","start_offset" : 13,"end_offset" : 15,"type" : "CN_WORD","position" : 5},{"token" : "的人","start_offset" : 15,"end_offset" : 17,"type" : "CN_WORD","position" : 6}]
   }