分布式搜索引擎之elasticsearch基本使用2

在分布式搜索引擎之elasticsearch基本使用1中，我們已經(jīng)導入了大量數(shù)據(jù)到elasticsearch中，實現(xiàn)了elasticsearch的數(shù)據(jù)存儲功能。但elasticsearch最擅長的還是搜索和數(shù)據(jù)分析。
所以j接下來，我們研究下elasticsearch的數(shù)據(jù)搜索功能。我們會分別使用DSL和RestClient實現(xiàn)搜索。

1.DSL查詢文檔

elasticsearch的查詢依然是基于JSON風格的DSL來實現(xiàn)的。

1.1.DSL查詢分類

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）來定義查詢。常見的查詢類型包括：

• 查詢所有：查詢出所有數(shù)據(jù)，一般測試用。例如：match_all

• 全文檢索（full text）查詢：利用分詞器對用戶輸入內(nèi)容分詞，然后去倒排索引庫中匹配。例如：

  • match_query
  • multi_match_query

• 精確查詢：根據(jù)精確詞條值查找數(shù)據(jù)，一般是查找keyword、數(shù)值、日期、boolean等類型字段。例如：

  • ids
  • range
  • term

• 地理（geo）查詢：根據(jù)經(jīng)緯度查詢。例如：

  • geo_distance
  • geo_bounding_box

• 復合（compound）查詢：復合查詢可以將上述各種查詢條件組合起來，合并查詢條件。例如：

  • bool
  • function_score

查詢的語法基本一致：

GET /indexName/_search
{"query": {"查詢類型": {"查詢條件": "條件值"}}
}

我們以查詢所有為例，其中：

• 查詢類型為match_all
• 沒有查詢條件

// 查詢所有
GET /indexName/_search
{"query": {"match_all": {}}
}

其它查詢無非就是查詢類型、查詢條件的變化。

1.2.全文檢索查詢

1.2.1.使用場景

全文檢索查詢的基本流程如下：

• 對用戶搜索的內(nèi)容做分詞，得到詞條
• 根據(jù)詞條去倒排索引庫中匹配，得到文檔id
• 根據(jù)文檔id找到文檔，返回給用戶

比較常用的場景包括：

• 商城的輸入框搜索
• 百度輸入框搜索

例如京東：

因為是拿著詞條去匹配，因此參與搜索的字段也必須是可分詞的text類型的字段。

1.2.2.基本語法

常見的全文檢索查詢包括：

• match查詢：單字段查詢
• multi_match查詢：多字段查詢，任意一個字段符合條件就算符合查詢條件

match查詢語法如下：

GET /indexName/_search
{"query": {"match": {"FIELD": "TEXT"}}
}

mulit_match語法如下：

GET /indexName/_search
{"query": {"multi_match": {"query": "TEXT","fields": ["FIELD1", " FIELD12"]}}
}

1.2.3.示例

match查詢示例：

multi_match查詢示例：

可以看到，兩種查詢結(jié)果是一樣的，為什么？

因為我們將brand、name、business值都利用copy_to復制到了all字段中。因此你根據(jù)三個字段搜索，和根據(jù)all字段搜索效果當然一樣了。

但是，搜索字段越多，對查詢性能影響越大，因此建議采用copy_to，然后單字段查詢的方式。

1.2.4.總結(jié)

match和multi_match的區(qū)別是什么？

• match：根據(jù)一個字段查詢
• multi_match：根據(jù)多個字段查詢，參與查詢字段越多，查詢性能越差

1.3.精準查詢

精確查詢一般是查找keyword、數(shù)值、日期、boolean等類型字段。所以不會對搜索條件分詞。常見的有：

• term：根據(jù)詞條精確值查詢
• range：根據(jù)值的范圍查詢

1.3.1.term查詢

因為精確查詢的字段搜是不分詞的字段，因此查詢的條件也必須是不分詞的詞條。查詢時，用戶輸入的內(nèi)容跟自動值完全匹配時才認為符合條件。如果用戶輸入的內(nèi)容過多，反而搜索不到數(shù)據(jù)。

語法說明：

// term查詢
GET /indexName/_search
{"query": {"term": {"FIELD": {"value": "VALUE"}}}
}

示例：

當我搜索的是精確詞條時，能正確查詢出結(jié)果：

但是，當我搜索的內(nèi)容不是詞條，而是多個詞語形成的短語時，反而搜索不到：

1.3.2.range查詢

范圍查詢，一般應(yīng)用在對數(shù)值類型做范圍過濾的時候。比如做價格范圍過濾。

基本語法：

// range查詢
GET /indexName/_search
{"query": {"range": {"FIELD": {"gte": 10, // 這里的gte代表大于等于，gt則代表大于"lte": 20 // lte代表小于等于，lt則代表小于}}}
}

示例：

1.3.3.總結(jié)

精確查詢常見的有哪些？

• term查詢：根據(jù)詞條精確匹配，一般搜索keyword類型、數(shù)值類型、布爾類型、日期類型字段
• range查詢：根據(jù)數(shù)值范圍查詢，可以是數(shù)值、日期的范圍

1.4.地理坐標查詢

所謂的地理坐標查詢，其實就是根據(jù)經(jīng)緯度查詢，官方文檔：https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html

常見的使用場景包括：

• 攜程：搜索我附近的酒店
• 滴滴：搜索我附近的出租車
• 微信：搜索我附近的人

附近的酒店：

1.4.1.矩形范圍查詢

矩形范圍查詢，也就是geo_bounding_box查詢，查詢坐標落在某個矩形范圍的所有文檔：

查詢時，需要指定矩形的左上、右下兩個點的坐標，然后畫出一個矩形，落在該矩形內(nèi)的都是符合條件的點。

語法如下：

// geo_bounding_box查詢
GET /indexName/_search
{"query": {"geo_bounding_box": {"FIELD": {"top_left": { // 左上點"lat": 31.1,"lon": 121.5},"bottom_right": { // 右下點"lat": 30.9,"lon": 121.7}}}}
}

這種并不符合“附近的人”這樣的需求，所以我們就不做了。

1.4.2.附近查詢

附近查詢，也叫做距離查詢（geo_distance）：查詢到指定中心點小于某個距離值的所有文檔。

換句話來說，在地圖上找一個點作為圓心，以指定距離為半徑，畫一個圓，落在圓內(nèi)的坐標都算符合條件：

語法說明：

// geo_distance 查詢
GET /indexName/_search
{"query": {"geo_distance": {"distance": "15km", // 半徑"FIELD": "31.21,121.5" // 圓心}}
}

示例：

我們先搜索陸家嘴附近15km的酒店：

發(fā)現(xiàn)共有47家酒店。

然后把半徑縮短到5公里：

可以發(fā)現(xiàn)，搜索到的酒店數(shù)量減少到了1家家。

1.5.復合查詢

復合（compound）查詢：復合查詢可以將其它簡單查詢組合起來，實現(xiàn)更復雜的搜索邏輯。常見的有兩種：

• fuction score：算分函數(shù)查詢，可以控制文檔相關(guān)性算分，控制文檔排名
• bool query：布爾查詢，利用邏輯關(guān)系組合多個其它的查詢，實現(xiàn)復雜搜索

1.5.1.相關(guān)性算分

當我們利用match查詢時，文檔結(jié)果會根據(jù)與搜索詞條的關(guān)聯(lián)度打分（_score），返回結(jié)果時按照分值降序排列。

例如，我們搜索 “虹橋如家”，結(jié)果如下：

[{"_score" : 17.850193,"_source" : {"name" : "虹橋如家酒店真不錯",}},{"_score" : 12.259849,"_source" : {"name" : "外灘如家酒店真不錯",}},{"_score" : 11.91091,"_source" : {"name" : "迪士尼如家酒店真不錯",}}
]

在elasticsearch中，早期使用的打分算法是TF-IDF算法，公式如下：

在后來的5.1版本升級中，elasticsearch將算法改進為BM25算法，公式如下：

Score(D,Q) 是文檔 D 與查詢 Q 的相關(guān)性得分。
qi 是查詢中的第 i 個詞。
f(qi, D)是詞 qi 在文檔 D 中的頻率。
IDF(qi) 是詞qi 的逆文檔頻率。
|D| 是文檔 D的長度。
avgdl是所有文檔的平均長度。
k1 和 b 是可調(diào)的參數(shù)，通常 k1 在1.2到2之間， b通常設(shè)為0.75。

N 是文檔集合中的文檔總數(shù)
n(q1)是包含詞q1的文檔數(shù)量

詞頻 (f(qi, D)): 這是查詢中的詞 q_i在文檔 D 中出現(xiàn)的頻率。詞頻是衡量一個詞在文檔中重要性的基本指標。詞頻越高，這個詞在文檔中的重要性通常越大。
逆文檔頻率 (IDF(qi)): 逆文檔頻率是衡量一個詞對于整個文檔集合的獨特性或信息量的指標。它是由整個文檔集合中包含該詞的文檔數(shù)量決定的。一個詞在很多文檔中出現(xiàn)，其IDF值就會低，反之則高。這意味著罕見的詞通常有更高的IDF值，從而在相關(guān)性評分中擁有更大的權(quán)重。
文檔長度 (|D|): 這是文檔D 中的詞匯數(shù)量。文檔長度用于調(diào)整詞頻的影響，因為較長的文檔可能僅因為它們的長度就有更高的詞頻。
平均文檔長度 (avgdl): 這是整個文檔集合中所有文檔長度的平均值。它用于標準化不同文檔的長度，以便可以公平比較不同長度的文檔。
可調(diào)參數(shù) (k1 和 b):
k1 是一個正系數(shù)，用于控制詞頻的飽和度。較高的 k1 值意味著詞頻對評分的影響更大。
b 是用于控制文檔長度對評分的影響的參數(shù)，取值在0到1之間。當 b=1 時，文檔長度的影響最大；當b = 0 時，文檔長度不影響評分。

TF-IDF算法有一各缺陷，就是詞條頻率越高，文檔得分也會越高，單個詞條對文檔影響較大。而BM25則會讓單個詞條的算分有一個上限，曲線更加平滑：

小結(jié)：elasticsearch會根據(jù)詞條和文檔的相關(guān)度做打分，算法由兩種：

• TF-IDF算法
• BM25算法，elasticsearch5.1版本后采用的算法

1.5.2.算分函數(shù)查詢

根據(jù)相關(guān)度打分是比較合理的需求，但合理的不一定是產(chǎn)品經(jīng)理需要的。

以百度為例，你搜索的結(jié)果中，并不是相關(guān)度越高排名越靠前。如圖：

要想認為控制相關(guān)性算分，就需要利用elasticsearch中的function score 查詢了。

1）語法說明

function score 查詢中包含四部分內(nèi)容：

• 原始查詢條件：query部分，基于這個條件搜索文檔，并且基于BM25算法給文檔打分，原始算分（query score)
• 過濾條件：filter部分，符合該條件的文檔才會重新算分
• 算分函數(shù)：符合filter條件的文檔要根據(jù)這個函數(shù)做運算，得到的函數(shù)算分（function score），有四種函數(shù)
  • weight：函數(shù)結(jié)果是常量
  • field_value_factor：以文檔中的某個字段值作為函數(shù)結(jié)果
  • random_score：以隨機數(shù)作為函數(shù)結(jié)果
  • script_score：自定義算分函數(shù)算法
• 運算模式：算分函數(shù)的結(jié)果、原始查詢的相關(guān)性算分，兩者之間的運算方式，包括：
  • multiply：相乘
  • replace：用function score替換query score
  • 其它，例如：sum、avg、max、min

function score的運行流程如下：

• 1）根據(jù)原始條件查詢搜索文檔，并且計算相關(guān)性算分，稱為原始算分（query score）
• 2）根據(jù)過濾條件，過濾文檔
• 3）符合過濾條件的文檔，基于算分函數(shù)運算，得到函數(shù)算分（function score）
• 4）將原始算分（query score）和函數(shù)算分（function score）基于運算模式做運算，得到最終結(jié)果，作為相關(guān)性算分。

因此，其中的關(guān)鍵點是：

• 過濾條件：決定哪些文檔的算分被修改
• 算分函數(shù)：決定函數(shù)算分的算法
• 運算模式：決定最終算分結(jié)果

2）示例

需求：給“如家”這個品牌的酒店排名靠前一些

翻譯一下這個需求，轉(zhuǎn)換為之前說的四個要點：

• 原始條件：不確定，可以任意變化
• 過濾條件：brand = “如家”
• 算分函數(shù)：可以簡單粗暴，直接給固定的算分結(jié)果，weight
• 運算模式：比如求和

因此最終的DSL語句如下：

GET /hotel/_search
{"query": {"function_score": {"query": {  .... }, // 原始查詢，可以是任意條件"functions": [ // 算分函數(shù){"filter": { // 滿足的條件，品牌必須是如家"term": {"brand": "如家"}},"weight": 2 // 算分權(quán)重為2}],"boost_mode": "sum" // 加權(quán)模式，求和}}
}

測試，在未添加算分函數(shù)時，如家得分如下：

添加了算分函數(shù)后，如家得分就提升了：

3）小結(jié)

function score query定義的三要素是什么？

• 過濾條件：哪些文檔要加分
• 算分函數(shù)：如何計算function score
• 加權(quán)方式：function score 與 query score如何運算

1.5.3.布爾查詢

布爾查詢是一個或多個查詢子句的組合，每一個子句就是一個子查詢。子查詢的組合方式有：

• must：必須匹配每個子查詢，類似“與”
• should：選擇性匹配子查詢，類似“或”
• must_not：必須不匹配，不參與算分，類似“非”
• filter：必須匹配，不參與算分

比如在搜索酒店時，除了關(guān)鍵字搜索外，我們還可能根據(jù)品牌、價格、城市等字段做過濾：

每一個不同的字段，其查詢的條件、方式都不一樣，必須是多個不同的查詢，而要組合這些查詢，就必須用bool查詢了。

需要注意的是，搜索時，參與打分的字段越多，查詢的性能也越差。因此這種多條件查詢時，建議這樣做：

• 搜索框的關(guān)鍵字搜索，是全文檢索查詢，使用must查詢，參與算分
• 其它過濾條件，采用filter查詢。不參與算分

1）語法示例：

GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"city": "上海" }}],"should": [{"term": {"brand": "皇冠假日" }},{"term": {"brand": "華美達" }}],"must_not": [{ "range": { "price": { "lte": 500 } }}],"filter": [{ "range": {"score": { "gte": 45 } }}]}}
}

2）示例

需求：搜索名字包含“如家”，價格不高于400，在坐標31.21,121.5周圍10km范圍內(nèi)的酒店。

分析：

• 名稱搜索，屬于全文檢索查詢，應(yīng)該參與算分。放到must中
• 價格不高于400，用range查詢，屬于過濾條件，不參與算分。放到must_not中
• 周圍10km范圍內(nèi)，用geo_distance查詢，屬于過濾條件，不參與算分。放到filter中

3）小結(jié)

bool查詢有幾種邏輯關(guān)系？

• must：必須匹配的條件，可以理解為“與”
• should：選擇性匹配的條件，可以理解為“或”
• must_not：必須不匹配的條件，不參與打分
• filter：必須匹配的條件，不參與打分

2.搜索結(jié)果處理

搜索的結(jié)果可以按照用戶指定的方式去處理或展示。

2.1.排序

elasticsearch默認是根據(jù)相關(guān)度算分（_score）來排序，但是也支持自定義方式對搜索結(jié)果排序?？梢耘判蜃侄晤愋陀?#xff1a;keyword類型、數(shù)值類型、地理坐標類型、日期類型等。

2.1.1.普通字段排序

keyword、數(shù)值、日期類型排序的語法基本一致。

語法：

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"FIELD": "desc"  // 排序字段、排序方式ASC、DESC}]
}

排序條件是一個數(shù)組，也就是可以寫多個排序條件。按照聲明的順序，當?shù)谝粋€條件相等時，再按照第二個條件排序，以此類推

示例：

需求描述：酒店數(shù)據(jù)按照用戶評價（score)降序排序，評價相同的按照價格(price)升序排序

2.1.2.地理坐標排序

地理坐標排序略有不同。

語法說明：

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"_geo_distance" : {"FIELD" : "緯度，經(jīng)度", // 文檔中g(shù)eo_point類型的字段名、目標坐標點"order" : "asc", // 排序方式"unit" : "km" // 排序的距離單位}}]
}

這個查詢的含義是：

• 指定一個坐標，作為目標點
• 計算每一個文檔中，指定字段（必須是geo_point類型）的坐標 到目標點的距離是多少
• 根據(jù)距離排序

示例：

需求描述：實現(xiàn)對酒店數(shù)據(jù)按照到你的位置坐標的距離升序排序

提示：獲取你的位置的經(jīng)緯度的方式：https://lbs.amap.com/demo/jsapi-v2/example/map/click-to-get-lnglat/

假設(shè)我的位置是：31.034661，121.612282，尋找我周圍距離最近的酒店。

2.2.分頁

elasticsearch 默認情況下只返回top10的數(shù)據(jù)。而如果要查詢更多數(shù)據(jù)就需要修改分頁參數(shù)了。elasticsearch中通過修改from、size參數(shù)來控制要返回的分頁結(jié)果：

• from：從第幾個文檔開始
• size：總共查詢幾個文檔

類似于mysql中的limit ?, ?

2.2.1.基本的分頁

分頁的基本語法如下：

GET /hotel/_search
{"query": {"match_all": {}},"from": 0, // 分頁開始的位置，默認為0"size": 10, // 期望獲取的文檔總數(shù)"sort": [{"price": "asc"}]
}

2.2.2.深度分頁問題

現(xiàn)在，我要查詢990~1000的數(shù)據(jù)，查詢邏輯要這么寫：

GET /hotel/_search
{"query": {"match_all": {}},"from": 990, // 分頁開始的位置，默認為0"size": 10, // 期望獲取的文檔總數(shù)"sort": [{"price": "asc"}]
}

這里是查詢990開始的數(shù)據(jù)，也就是 第990~第1000條 數(shù)據(jù)。

不過，elasticsearch內(nèi)部分頁時，必須先查詢 0~1000條，然后截取其中的990 ~ 1000的這10條：

查詢TOP1000，如果es是單點模式，這并無太大影響。

但是elasticsearch將來一定是集群，例如我集群有5個節(jié)點，我要查詢TOP1000的數(shù)據(jù)，并不是每個節(jié)點查詢200條就可以了。

因為節(jié)點A的TOP200，在另一個節(jié)點可能排到10000名以外了。

因此要想獲取整個集群的TOP1000，必須先查詢出每個節(jié)點的TOP1000，匯總結(jié)果后，重新排名，重新截取TOP1000。

那如果我要查詢9900~10000的數(shù)據(jù)呢？是不是要先查詢TOP10000呢？那每個節(jié)點都要查詢10000條？匯總到內(nèi)存中？

當查詢分頁深度較大時，匯總數(shù)據(jù)過多，對內(nèi)存和CPU會產(chǎn)生非常大的壓力，因此elasticsearch會禁止from+ size 超過10000的請求。

針對深度分頁，ES提供了兩種解決方案，官方文檔：

• search after：分頁時需要排序，原理是從上一次的排序值開始，查詢下一頁數(shù)據(jù)。官方推薦使用的方式。
• scroll：原理將排序后的文檔id形成快照，保存在內(nèi)存。官方已經(jīng)不推薦使用。

2.2.3.小結(jié)

分頁查詢的常見實現(xiàn)方案以及優(yōu)缺點：

• from + size：

  • 優(yōu)點：支持隨機翻頁
  • 缺點：深度分頁問題，默認查詢上限（from + size）是10000
  • 場景：百度、京東、谷歌、淘寶這樣的隨機翻頁搜索

• after search：

  • 優(yōu)點：沒有查詢上限（單次查詢的size不超過10000）
  • 缺點：只能向后逐頁查詢，不支持隨機翻頁
  • 場景：沒有隨機翻頁需求的搜索，例如手機向下滾動翻頁

• scroll：

  • 優(yōu)點：沒有查詢上限（單次查詢的size不超過10000）
  • 缺點：會有額外內(nèi)存消耗，并且搜索結(jié)果是非實時的
  • 場景：海量數(shù)據(jù)的獲取和遷移。從ES7.1開始不推薦，建議用 after search方案。

2.3.高亮

2.3.1.高亮原理

什么是高亮顯示呢？

我們在百度，京東搜索時，關(guān)鍵字會變成紅色，比較醒目，這叫高亮顯示：

高亮顯示的實現(xiàn)分為兩步：

• 1）給文檔中的所有關(guān)鍵字都添加一個標簽，例如<em>標簽
• 2）頁面給<em>標簽編寫CSS樣式

2.3.2.實現(xiàn)高亮

高亮的語法：

GET /hotel/_search
{"query": {"match": {"FIELD": "TEXT" // 查詢條件，高亮一定要使用全文檢索查詢}},"highlight": {"fields": { // 指定要高亮的字段"FIELD": {"pre_tags": "<em>",  // 用來標記高亮字段的前置標簽"post_tags": "</em>" // 用來標記高亮字段的后置標簽}}}
}

注意：

• 高亮是對關(guān)鍵字高亮，因此搜索條件必須帶有關(guān)鍵字，而不能是范圍這樣的查詢。
• 默認情況下，高亮的字段，必須與搜索指定的字段一致，否則無法高亮
• 如果要對非搜索字段高亮，則需要添加一個屬性：required_field_match=false

示例：

2.4.總結(jié)

查詢的DSL是一個大的JSON對象，包含下列屬性：

• query：查詢條件
• from和size：分頁條件
• sort：排序條件
• highlight：高亮條件

示例：

3.RestClient查詢文檔

文檔的查詢同樣適用昨天學習的 RestHighLevelClient對象，基本步驟包括：

• 1）準備Request對象
• 2）準備請求參數(shù)
• 3）發(fā)起請求
• 4）解析響應(yīng)

3.1.快速入門

我們以match_all查詢?yōu)槔?/p>

3.1.1.發(fā)起查詢請求

代碼解讀：

• 第一步，創(chuàng)建SearchRequest對象，指定索引庫名

• 第二步，利用request.source()構(gòu)建DSL，DSL中可以包含查詢、分頁、排序、高亮等

  • query()：代表查詢條件，利用QueryBuilders.matchAllQuery()構(gòu)建一個match_all查詢的DSL

• 第三步，利用client.search()發(fā)送請求，得到響應(yīng)

這里關(guān)鍵的API有兩個，一個是request.source()，其中包含了查詢、排序、分頁、高亮等所有功能：

另一個是QueryBuilders，其中包含match、term、function_score、bool等各種查詢：

3.1.2.解析響應(yīng)

響應(yīng)結(jié)果的解析：

elasticsearch返回的結(jié)果是一個JSON字符串，結(jié)構(gòu)包含：

• hits：命中的結(jié)果
  • total：總條數(shù)，其中的value是具體的總條數(shù)值
  • max_score：所有結(jié)果中得分最高的文檔的相關(guān)性算分
  • hits：搜索結(jié)果的文檔數(shù)組，其中的每個文檔都是一個json對象
    • _source：文檔中的原始數(shù)據(jù)，也是json對象

因此，我們解析響應(yīng)結(jié)果，就是逐層解析JSON字符串，流程如下：

• SearchHits：通過response.getHits()獲取，就是JSON中的最外層的hits，代表命中的結(jié)果
  • SearchHits#getTotalHits().value：獲取總條數(shù)信息
  • SearchHits#getHits()：獲取SearchHit數(shù)組，也就是文檔數(shù)組
    • SearchHit#getSourceAsString()：獲取文檔結(jié)果中的_source，也就是原始的json文檔數(shù)據(jù)

3.1.3.完整代碼

完整代碼如下：

@Test
void testMatchAll() throws IOException {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSLrequest.source().query(QueryBuilders.matchAllQuery());// 3.發(fā)送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應(yīng)handleResponse(response);
}private void handleResponse(SearchResponse response) {// 4.解析響應(yīng)SearchHits searchHits = response.getHits();// 4.1.獲取總條數(shù)long total = searchHits.getTotalHits().value;System.out.println("共搜索到" + total + "條數(shù)據(jù)");// 4.2.文檔數(shù)組SearchHit[] hits = searchHits.getHits();// 4.3.遍歷for (SearchHit hit : hits) {// 獲取文檔sourceString json = hit.getSourceAsString();// 反序列化HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println("hotelDoc = " + hotelDoc);}
}

3.1.4.小結(jié)

查詢的基本步驟是：

1. 創(chuàng)建SearchRequest對象

2. 準備Request.source()，也就是DSL。

   ① QueryBuilders來構(gòu)建查詢條件

   ② 傳入Request.source() 的 query() 方法

3. 發(fā)送請求，得到結(jié)果

4. 解析結(jié)果（參考JSON結(jié)果，從外到內(nèi)，逐層解析）

3.2.match查詢

全文檢索的match和multi_match查詢與match_all的API基本一致。差別是查詢條件，也就是query的部分。

因此，Java代碼上的差異主要是request.source().query()中的參數(shù)了。同樣是利用QueryBuilders提供的方法：

而結(jié)果解析代碼則完全一致，可以抽取并共享。

完整代碼如下：

@Test
void testMatch() throws IOException {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSLrequest.source().query(QueryBuilders.matchQuery("all", "如家"));// 3.發(fā)送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應(yīng)handleResponse(response);}

3.3.精確查詢

精確查詢主要是兩者：

• term：詞條精確匹配
• range：范圍查詢

與之前的查詢相比，差異同樣在查詢條件，其它都一樣。

查詢條件構(gòu)造的API如下：

3.4.布爾查詢

布爾查詢是用must、must_not、filter等方式組合其它查詢，代碼示例如下：

可以看到，API與其它查詢的差別同樣是在查詢條件的構(gòu)建，QueryBuilders，結(jié)果解析等其他代碼完全不變。

完整代碼如下：

@Test
void testBool() throws IOException {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSL// 2.1.準備BooleanQueryBoolQueryBuilder boolQuery = QueryBuilders.boolQuery();// 2.2.添加termboolQuery.must(QueryBuilders.termQuery("city", "杭州"));// 2.3.添加rangeboolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));request.source().query(boolQuery);// 3.發(fā)送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應(yīng)handleResponse(response);}

3.5.排序、分頁

搜索結(jié)果的排序和分頁是與query同級的參數(shù)，因此同樣是使用request.source()來設(shè)置。

對應(yīng)的API如下：

完整代碼示例：

@Test
void testPageAndSort() throws IOException {// 頁碼，每頁大小int page = 1, size = 5;// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSL// 2.1.queryrequest.source().query(QueryBuilders.matchAllQuery());// 2.2.排序 sortrequest.source().sort("price", SortOrder.ASC);// 2.3.分頁 from、sizerequest.source().from((page - 1) * size).size(5);// 3.發(fā)送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應(yīng)handleResponse(response);}

3.6.高亮

高亮的代碼與之前代碼差異較大，有兩點：

• 查詢的DSL：其中除了查詢條件，還需要添加高亮條件，同樣是與query同級。
• 結(jié)果解析：結(jié)果除了要解析_source文檔數(shù)據(jù)，還要解析高亮結(jié)果

3.6.1.高亮請求構(gòu)建

高亮請求的構(gòu)建API如下：

上述代碼省略了查詢條件部分，但是大家不要忘了：高亮查詢必須使用全文檢索查詢，并且要有搜索關(guān)鍵字，將來才可以對關(guān)鍵字高亮。

完整代碼如下：

@Test
void testHighlight() throws IOException {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSL// 2.1.queryrequest.source().query(QueryBuilders.matchQuery("all", "如家"));// 2.2.高亮request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));// 3.發(fā)送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應(yīng)handleResponse(response);}

3.6.2.高亮結(jié)果解析

高亮的結(jié)果與查詢的文檔結(jié)果默認是分離的，并不在一起。

因此解析高亮的代碼需要額外處理：

代碼解讀：

• 第一步：從結(jié)果中獲取source。hit.getSourceAsString()，這部分是非高亮結(jié)果，json字符串。還需要反序列為HotelDoc對象
• 第二步：獲取高亮結(jié)果。hit.getHighlightFields()，返回值是一個Map，key是高亮字段名稱，值是HighlightField對象，代表高亮值
• 第三步：從map中根據(jù)高亮字段名稱，獲取高亮字段值對象HighlightField
• 第四步：從HighlightField中獲取Fragments，并且轉(zhuǎn)為字符串。這部分就是真正的高亮字符串了
• 第五步：用高亮的結(jié)果替換HotelDoc中的非高亮結(jié)果

完整代碼如下：

private void handleResponse(SearchResponse response) {// 4.解析響應(yīng)SearchHits searchHits = response.getHits();// 4.1.獲取總條數(shù)long total = searchHits.getTotalHits().value;System.out.println("共搜索到" + total + "條數(shù)據(jù)");// 4.2.文檔數(shù)組SearchHit[] hits = searchHits.getHits();// 4.3.遍歷for (SearchHit hit : hits) {// 獲取文檔sourceString json = hit.getSourceAsString();// 反序列化HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);// 獲取高亮結(jié)果Map<String, HighlightField> highlightFields = hit.getHighlightFields();if (!CollectionUtils.isEmpty(highlightFields)) {// 根據(jù)字段名獲取高亮結(jié)果HighlightField highlightField = highlightFields.get("name");if (highlightField != null) {// 獲取高亮值String name = highlightField.getFragments()[0].string();// 覆蓋非高亮結(jié)果hotelDoc.setName(name);}}System.out.println("hotelDoc = " + hotelDoc);}
}

4.黑馬旅游案例

下面，我們通過黑馬旅游的案例來實戰(zhàn)演練下之前學習的知識。

我們實現(xiàn)四部分功能：

• 酒店搜索和分頁
• 酒店結(jié)果過濾
• 我周邊的酒店
• 酒店競價排名

啟動我們提供的hotel-demo項目，其默認端口是8089，訪問http://localhost:8090，就能看到項目頁面了：

4.1.酒店搜索和分頁

案例需求：實現(xiàn)黑馬旅游的酒店搜索功能，完成關(guān)鍵字搜索和分頁

4.1.1.需求分析

在項目的首頁，有一個的搜索框，還有分頁按鈕：

點擊搜索按鈕，可以看到瀏覽器控制臺發(fā)出了請求：

請求參數(shù)如下：

由此可以知道，我們這個請求的信息如下：

• 請求方式：POST
• 請求路徑：/hotel/list
• 請求參數(shù)：JSON對象，包含4個字段：
  • key：搜索關(guān)鍵字
  • page：頁碼
  • size：每頁大小
  • sortBy：排序，目前暫不實現(xiàn)
• 返回值：分頁查詢，需要返回分頁結(jié)果PageResult，包含兩個屬性：
  • total：總條數(shù)
  • List<HotelDoc>：當前頁的數(shù)據(jù)

因此，我們實現(xiàn)業(yè)務(wù)的流程如下：

• 步驟一：定義實體類，接收請求參數(shù)的JSON對象
• 步驟二：編寫controller，接收頁面的請求
• 步驟三：編寫業(yè)務(wù)實現(xiàn)，利用RestHighLevelClient實現(xiàn)搜索、分頁

4.1.2.定義實體類

實體類有兩個，一個是前端的請求參數(shù)實體，一個是服務(wù)端應(yīng)該返回的響應(yīng)結(jié)果實體。

1）請求參數(shù)

前端請求的json結(jié)構(gòu)如下：

{"key": "搜索關(guān)鍵字","page": 1,"size": 3,"sortBy": "default"
}

因此，我們在cn.itcast.hotel.pojo包下定義一個實體類：

package cn.itcast.hotel.pojo;import lombok.Data;@Data
public class RequestParams {private String key;private Integer page;private Integer size;private String sortBy;
}

2）返回值

分頁查詢，需要返回分頁結(jié)果PageResult，包含兩個屬性：

• total：總條數(shù)
• List<HotelDoc>：當前頁的數(shù)據(jù)

因此，我們在cn.itcast.hotel.pojo中定義返回結(jié)果：

package cn.itcast.hotel.pojo;import lombok.Data;import java.util.List;@Data
public class PageResult {private Long total;private List<HotelDoc> hotels;public PageResult() {}public PageResult(Long total, List<HotelDoc> hotels) {this.total = total;this.hotels = hotels;}
}

4.1.3.定義controller

定義一個HotelController，聲明查詢接口，滿足下列要求：

• 請求方式：Post
• 請求路徑：/hotel/list
• 請求參數(shù)：對象，類型為RequestParam
• 返回值：PageResult，包含兩個屬性
  • Long total：總條數(shù)
  • List<HotelDoc> hotels：酒店數(shù)據(jù)

因此，我們在cn.itcast.hotel.web中定義HotelController：

@RestController
@RequestMapping("/hotel")
public class HotelController {@Autowiredprivate IHotelService hotelService;// 搜索酒店數(shù)據(jù)@PostMapping("/list")public PageResult search(@RequestBody RequestParams params){return hotelService.search(params);}
}

4.1.4.實現(xiàn)搜索業(yè)務(wù)

我們在controller調(diào)用了IHotelService，并沒有實現(xiàn)該方法，因此下面我們就在IHotelService中定義方法，并且去實現(xiàn)業(yè)務(wù)邏輯。

1）在cn.itcast.hotel.service中的IHotelService接口中定義一個方法：

/*** 根據(jù)關(guān)鍵字搜索酒店信息* @param params 請求參數(shù)對象，包含用戶輸入的關(guān)鍵字 * @return 酒店文檔列表*/
PageResult search(RequestParams params);

2）實現(xiàn)搜索業(yè)務(wù)，肯定離不開RestHighLevelClient，我們需要把它注冊到Spring中作為一個Bean。在cn.itcast.hotel中的HotelDemoApplication中聲明這個Bean：

@Bean
public RestHighLevelClient client(){return  new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")));
}

3）在cn.itcast.hotel.service.impl中的HotelService中實現(xiàn)search方法：

@Override
public PageResult search(RequestParams params) {try {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSL// 2.1.queryString key = params.getKey();if (key == null || "".equals(key)) {request.source().query(QueryBuilders.matchAllQuery());} else {request.source().query(QueryBuilders.matchQuery("all", key));}// 2.2.分頁int page = params.getPage();int size = params.getSize();request.source().from((page - 1) * size).size(size);// 3.發(fā)送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應(yīng)return handleResponse(response);} catch (IOException e) {throw new RuntimeException(e);}
}// 結(jié)果解析
private PageResult handleResponse(SearchResponse response) {// 4.解析響應(yīng)SearchHits searchHits = response.getHits();// 4.1.獲取總條數(shù)long total = searchHits.getTotalHits().value;// 4.2.文檔數(shù)組SearchHit[] hits = searchHits.getHits();// 4.3.遍歷List<HotelDoc> hotels = new ArrayList<>();for (SearchHit hit : hits) {// 獲取文檔sourceString json = hit.getSourceAsString();// 反序列化HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);// 放入集合hotels.add(hotelDoc);}// 4.4.封裝返回return new PageResult(total, hotels);
}

4.2.酒店結(jié)果過濾

需求：添加品牌、城市、星級、價格等過濾功能

4.2.1.需求分析

在頁面搜索框下面，會有一些過濾項：

傳遞的參數(shù)如圖：

包含的過濾條件有：

• brand：品牌值
• city：城市
• minPrice~maxPrice：價格范圍
• starName：星級

我們需要做兩件事情：

• 修改請求參數(shù)的對象RequestParams，接收上述參數(shù)
• 修改業(yè)務(wù)邏輯，在搜索條件之外，添加一些過濾條件

4.2.2.修改實體類

修改在cn.itcast.hotel.pojo包下的實體類RequestParams：

@Data
public class RequestParams {private String key;private Integer page;private Integer size;private String sortBy;// 下面是新增的過濾條件參數(shù)private String city;private String brand;private String starName;private Integer minPrice;private Integer maxPrice;
}

4.2.3.修改搜索業(yè)務(wù)

在HotelService的search方法中，只有一個地方需要修改：requet.source().query( … )其中的查詢條件。

在之前的業(yè)務(wù)中，只有match查詢，根據(jù)關(guān)鍵字搜索，現(xiàn)在要添加條件過濾，包括：

• 品牌過濾：是keyword類型，用term查詢
• 星級過濾：是keyword類型，用term查詢
• 價格過濾：是數(shù)值類型，用range查詢
• 城市過濾：是keyword類型，用term查詢

多個查詢條件組合，肯定是boolean查詢來組合：

• 關(guān)鍵字搜索放到must中，參與算分
• 其它過濾條件放到filter中，不參與算分

因為條件構(gòu)建的邏輯比較復雜，這里先封裝為一個函數(shù)：

buildBasicQuery的代碼如下：

private void buildBasicQuery(RequestParams params, SearchRequest request) {// 1.構(gòu)建BooleanQueryBoolQueryBuilder boolQuery = QueryBuilders.boolQuery();// 2.關(guān)鍵字搜索String key = params.getKey();if (key == null || "".equals(key)) {boolQuery.must(QueryBuilders.matchAllQuery());} else {boolQuery.must(QueryBuilders.matchQuery("all", key));}// 3.城市條件if (params.getCity() != null && !params.getCity().equals("")) {boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));}// 4.品牌條件if (params.getBrand() != null && !params.getBrand().equals("")) {boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));}// 5.星級條件if (params.getStarName() != null && !params.getStarName().equals("")) {boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));}// 6.價格if (params.getMinPrice() != null && params.getMaxPrice() != null) {boolQuery.filter(QueryBuilders.rangeQuery("price").gte(params.getMinPrice()).lte(params.getMaxPrice()));}// 7.放入sourcerequest.source().query(boolQuery);
}

4.3.我周邊的酒店

需求：我附近的酒店

4.3.1.需求分析

在酒店列表頁的右側(cè)，有一個地圖，點擊地圖的定位按鈕，地圖會找到你所在的位置：

并且，在前端會發(fā)起查詢請求，將你的坐標發(fā)送到服務(wù)端：

我們要做的事情就是基于這個location坐標，然后按照距離對周圍酒店排序。實現(xiàn)思路如下：

• 修改RequestParams參數(shù)，接收location字段
• 修改search方法業(yè)務(wù)邏輯，如果location有值，添加根據(jù)geo_distance排序的功能

4.3.2.修改實體類

修改在cn.itcast.hotel.pojo包下的實體類RequestParams：

package cn.itcast.hotel.pojo;import lombok.Data;@Data
public class RequestParams {private String key;private Integer page;private Integer size;private String sortBy;private String city;private String brand;private String starName;private Integer minPrice;private Integer maxPrice;// 我當前的地理坐標private String location;
}

4.3.3.距離排序API

我們以前學習過排序功能，包括兩種：

• 普通字段排序
• 地理坐標排序

我們只講了普通字段排序?qū)?yīng)的java寫法。地理坐標排序只學過DSL語法，如下：

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"price": "asc"  },{"_geo_distance" : {"FIELD" : "緯度，經(jīng)度","order" : "asc","unit" : "km"}}]
}

對應(yīng)的java代碼示例：

4.3.4.添加距離排序

在cn.itcast.hotel.service.impl的HotelService的search方法中，添加一個排序功能：

完整代碼：

@Override
public PageResult search(RequestParams params) {try {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSL// 2.1.querybuildBasicQuery(params, request);// 2.2.分頁int page = params.getPage();int size = params.getSize();request.source().from((page - 1) * size).size(size);// 2.3.排序String location = params.getLocation();if (location != null && !location.equals("")) {request.source().sort(SortBuilders.geoDistanceSort("location", new GeoPoint(location)).order(SortOrder.ASC).unit(DistanceUnit.KILOMETERS));}// 3.發(fā)送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應(yīng)return handleResponse(response);} catch (IOException e) {throw new RuntimeException(e);}
}

4.3.5.排序距離顯示

重啟服務(wù)后，測試我的酒店功能：

發(fā)現(xiàn)確實可以實現(xiàn)對我附近酒店的排序，不過并沒有看到酒店到底距離我多遠，這該怎么辦？

排序完成后，頁面還要獲取我附近每個酒店的具體距離值，這個值在響應(yīng)結(jié)果中是獨立的：

因此，我們在結(jié)果解析階段，除了解析source部分以外，還要得到sort部分，也就是排序的距離，然后放到響應(yīng)結(jié)果中。

我們要做兩件事：

• 修改HotelDoc，添加排序距離字段，用于頁面顯示
• 修改HotelService類中的handleResponse方法，添加對sort值的獲取

1）修改HotelDoc類，添加距離字段

package cn.itcast.hotel.pojo;import lombok.Data;
import lombok.NoArgsConstructor;@Data
@NoArgsConstructor
public class HotelDoc {private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String location;private String pic;// 排序時的 距離值private Object distance;public HotelDoc(Hotel hotel) {this.id = hotel.getId();this.name = hotel.getName();this.address = hotel.getAddress();this.price = hotel.getPrice();this.score = hotel.getScore();this.brand = hotel.getBrand();this.city = hotel.getCity();this.starName = hotel.getStarName();this.business = hotel.getBusiness();this.location = hotel.getLatitude() + ", " + hotel.getLongitude();this.pic = hotel.getPic();}
}

2）修改HotelService中的handleResponse方法

重啟后測試，發(fā)現(xiàn)頁面能成功顯示距離了：

4.4.酒店競價排名

需求：讓指定的酒店在搜索結(jié)果中排名置頂

4.4.1.需求分析

要讓指定酒店在搜索結(jié)果中排名置頂，效果如圖：

頁面會給指定的酒店添加廣告標記。

那怎樣才能讓指定的酒店排名置頂呢？

我們之前學習過的function_score查詢可以影響算分，算分高了，自然排名也就高了。而function_score包含3個要素：

• 過濾條件：哪些文檔要加分
• 算分函數(shù)：如何計算function score
• 加權(quán)方式：function score 與 query score如何運算

這里的需求是：讓指定酒店排名靠前。因此我們需要給這些酒店添加一個標記，這樣在過濾條件中就可以根據(jù)這個標記來判斷，是否要提高算分。

比如，我們給酒店添加一個字段：isAD，Boolean類型：

• true：是廣告
• false：不是廣告

這樣function_score包含3個要素就很好確定了：

• 過濾條件：判斷isAD 是否為true
• 算分函數(shù)：我們可以用最簡單暴力的weight，固定加權(quán)值
• 加權(quán)方式：可以用默認的相乘，大大提高算分

因此，業(yè)務(wù)的實現(xiàn)步驟包括：

1. 給HotelDoc類添加isAD字段，Boolean類型

2. 挑選幾個你喜歡的酒店，給它的文檔數(shù)據(jù)添加isAD字段，值為true

3. 修改search方法，添加function score功能，給isAD值為true的酒店增加權(quán)重

4.4.2.修改HotelDoc實體

給cn.itcast.hotel.pojo包下的HotelDoc類添加isAD字段：

4.4.3.添加廣告標記

接下來，我們挑幾個酒店，添加isAD字段，設(shè)置為true：

POST /hotel/_update/1902197537
{"doc": {"isAD": true}
}
POST /hotel/_update/2056126831
{"doc": {"isAD": true}
}
POST /hotel/_update/1989806195
{"doc": {"isAD": true}
}
POST /hotel/_update/2056105938
{"doc": {"isAD": true}
}

4.4.4.添加算分函數(shù)查詢

接下來我們就要修改查詢條件了。之前是用的boolean 查詢，現(xiàn)在要改成function_socre查詢。

function_score查詢結(jié)構(gòu)如下：

對應(yīng)的JavaAPI如下：

我們可以將之前寫的boolean查詢作為原始查詢條件放到query中，接下來就是添加過濾條件、算分函數(shù)、加權(quán)模式了。所以原來的代碼依然可以沿用。

修改cn.itcast.hotel.service.impl包下的HotelService類中的buildBasicQuery方法，添加算分函數(shù)查詢：

private void buildBasicQuery(RequestParams params, SearchRequest request) {// 1.構(gòu)建BooleanQueryBoolQueryBuilder boolQuery = QueryBuilders.boolQuery();// 關(guān)鍵字搜索String key = params.getKey();if (key == null || "".equals(key)) {boolQuery.must(QueryBuilders.matchAllQuery());} else {boolQuery.must(QueryBuilders.matchQuery("all", key));}// 城市條件if (params.getCity() != null && !params.getCity().equals("")) {boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));}// 品牌條件if (params.getBrand() != null && !params.getBrand().equals("")) {boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));}// 星級條件if (params.getStarName() != null && !params.getStarName().equals("")) {boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));}// 價格if (params.getMinPrice() != null && params.getMaxPrice() != null) {boolQuery.filter(QueryBuilders.rangeQuery("price").gte(params.getMinPrice()).lte(params.getMaxPrice()));}// 2.算分控制FunctionScoreQueryBuilder functionScoreQuery =QueryBuilders.functionScoreQuery(// 原始查詢，相關(guān)性算分的查詢boolQuery,// function score的數(shù)組new FunctionScoreQueryBuilder.FilterFunctionBuilder[]{// 其中的一個function score 元素new FunctionScoreQueryBuilder.FilterFunctionBuilder(// 過濾條件QueryBuilders.termQuery("isAD", true),// 算分函數(shù)ScoreFunctionBuilders.weightFactorFunction(10))});request.source().query(functionScoreQuery);
}