在Elasticsearch中，分析器（Analyzer）是一個處理文本數(shù)據(jù)的管道，它將輸入的文本轉(zhuǎn)換為一系列詞元（tokens），并可以對這些詞元進行進一步的處理和規(guī)范化。分析器由以下三個主要組件構(gòu)成：

1.字符過濾器（Character Filters）

字符過濾器是分析器管道中的第一步，用于對輸入文本進行預(yù)處理。它們可以添加、刪除或修改文本中的字符。字符過濾器是可選的，一個分析器可以有零個或多個字符過濾器。

? 常見用途：例如，可以使用字符過濾器去除HTML標簽（如`<b>`、`<h1>`等），或者將某些特定字符替換為其他字符。

? 示例：如果輸入文本是`<p>Ironman is flying</p>`，通過`html_strip`字符過濾器后，文本會被轉(zhuǎn)換為`Ironman is flying`。

2.分詞器（Tokenizer）

分詞器是分析器的核心組件，負責(zé)將文本分割成單獨的詞元（tokens）。分詞器根據(jù)特定的規(guī)則（如空白字符、標點符號或語言規(guī)則）將文本拆分為多個詞元。一個分析器必須且只能有一個分詞器。

? 常見分詞器：

? 標準分詞器（Standard Tokenizer）：根據(jù)語法和標點符號將文本分割成詞元。

? 空白分詞器（Whitespace Tokenizer）：在遇到空白字符時將文本分割成詞元。

? N-gram分詞器：生成文本的N-gram片段，常用于自動補全。

? 示例：對于文本`Ironman is flying`，使用空白分詞器會生成詞元`[Ironman, is, flying]`。

3.詞元過濾器（Token Filters）

詞元過濾器是分析器管道中的最后一步，用于對分詞器生成的詞元進行進一步處理。它們可以添加、修改或刪除詞元，但不能改變詞元的位置或字符偏移量。

? 常見用途：

? 小寫過濾器（Lowercase Token Filter）：將所有詞元轉(zhuǎn)換為小寫。

? 停用詞過濾器（Stop Token Filter）：移除常見的停用詞（如`the`、`is`等）。

? 同義詞過濾器（Synonym Token Filter）：引入同義詞。

? 詞干提取（Stemming）：將詞元還原為詞根形式（如將`went`還原為`go`）。

? 示例：對于詞元`[Ironman, is, flying]`，使用小寫過濾器后會生成`[ironman, is, flying]`。

總結(jié)

分析器通過這三個組件的協(xié)同工作，將輸入的文本轉(zhuǎn)換為適合索引和搜索的詞元流。通過合理配置字符過濾器、分詞器和詞元過濾器，可以實現(xiàn)對文本的靈活處理，從而提高搜索結(jié)果的相關(guān)性和準確性。

分析器的構(gòu)成

?

分析器——無論是內(nèi)置的還是自定義的——只是一個包含三個低級構(gòu)建塊的包：字符過濾器、分詞器和詞元過濾器-character filters, tokenizers, and token filters.。

內(nèi)置分析器將這些構(gòu)建塊預(yù)先打包成適合不同語言和文本類型的分析器。Elasticsearch還暴露了這些單獨的構(gòu)建塊，以便它們可以組合起來定義新的`自定義`分析器。

字符過濾器接收原始文本作為字符流，并可以通過添加、刪除或更改字符來轉(zhuǎn)換該流。例如，字符過濾器可以用于將印度-阿拉伯數(shù)字（?????????????）轉(zhuǎn)換為其阿拉伯-拉丁數(shù)字等價物（0123456789），或者從流中刪除HTML元素，如`<b>`。

分析器可以有零個或多個字符過濾器，這些過濾器按順序應(yīng)用。

分詞器接收字符流，將其分解為單獨的詞元（通常是單個單詞），并輸出一個詞元流。例如，`whitespace`分詞器會在看到任何空白字符時將文本分解為詞元。它會將文本`"Quick brown fox!"`轉(zhuǎn)換為詞元`[Quick, brown, fox!]`。

分詞器還負責(zé)記錄每個詞元的順序或位置以及原始單詞的起始和結(jié)束字符偏移量。

分析器必須有恰好一個分詞器。

詞元過濾器接收詞元流，并可以添加、刪除或更改詞元。例如，`lowercase`詞元過濾器將所有詞元轉(zhuǎn)換為小寫，`stop`詞元過濾器從詞元流中移除常見詞匯（停用詞）如`the`，而`synonym`詞元過濾器會向詞元流中引入同義詞。

詞元過濾器不允許更改每個詞元的位置或字符偏移量。

分析器可以有零個或多個詞元過濾器，這些過濾器按順序應(yīng)用。