江門(mén)網(wǎng)站建設(shè)公司百度平臺(tái)客服聯(lián)系方式
作者:來(lái)自 Elastic?Shubha Anjur Tupil
幾分鐘內(nèi)即可開(kāi)始使用 Elastic Rerank 模型:強(qiáng)大的語(yǔ)義搜索功能,無(wú)需重新索引,提供靈活性和成本控制;高相關(guān)性、頂級(jí)性能和文本搜索效率。
使用我們?nèi)碌南冗M(jìn)跨編碼器 Elastic Rerank 模型(技術(shù)預(yù)覽版),將你的搜索體驗(yàn)提升至 11 級(jí)。重新排名模型可為任何搜索體驗(yàn)提供語(yǔ)義提升,而無(wú)需你更改數(shù)據(jù)架構(gòu),讓你有空間在自己的時(shí)間和預(yù)算范圍內(nèi)探索其他語(yǔ)義相關(guān)性工具。
語(yǔ)義提升你的關(guān)鍵字搜索:無(wú)論你的數(shù)據(jù)今天存儲(chǔ)、索引或搜索的位置或方式如何,語(yǔ)義重新排名都是一個(gè)簡(jiǎn)單的附加步驟,可讓你通過(guò)語(yǔ)義理解提升現(xiàn)有的搜索結(jié)果。你可以根據(jù)需要靈活地應(yīng)用此功能 - 無(wú)需更改現(xiàn)有數(shù)據(jù)或索引管道,并且你可以使用 Elastic 基礎(chǔ)模型作為你的首選。
適合任何預(yù)算的選擇靈活性:所有搜索體驗(yàn)都可以通過(guò)添加語(yǔ)義含義來(lái)改善,這通常通過(guò)使用密集或稀疏向量模型(例如 ELSER)來(lái)應(yīng)用。但是,實(shí)現(xiàn)相關(guān)性目標(biāo)并不需要一刀切的解決方案,而是需要混合搭配工具來(lái)平衡性能和成本?;旌纤阉骶褪沁@樣一種選擇,它通過(guò)使用 Elasticsearch 中的倒數(shù)排名融合 (reciprocal rank fusion?- RRF) 將語(yǔ)義搜索與關(guān)鍵字搜索相結(jié)合來(lái)提高相關(guān)性。Elastic Rerank 模型現(xiàn)在是代替語(yǔ)義搜索增強(qiáng)搜索相關(guān)性的額外杠桿,讓你可以靈活地優(yōu)化相關(guān)性和預(yù)算。
我們最初在 serverless 上提供,但現(xiàn)在在 Elasticsearch 8.17 的技術(shù)預(yù)覽版中可用,我們的模型的優(yōu)勢(shì)超過(guò)了當(dāng)今市場(chǎng)上的其他模型。
高性能和高效:Elastic Rerank 模型優(yōu)于其他明顯更大的重新排名模型。它基于 DeBERTa v3 架構(gòu)構(gòu)建,并通過(guò)對(duì)多樣化數(shù)據(jù)集的提煉進(jìn)行了微調(diào)。我們的詳細(xì)測(cè)試表明,在廣泛的檢索任務(wù)上提升了 40%,在問(wèn)答數(shù)據(jù)集上提升了高達(dá) 90%。
相比之下,Elastic Rerank 模型在相關(guān)性方面明顯更勝一籌,甚至與更大的模型相當(dāng)。在我們的測(cè)試中,一些模型(例如 bge-re-ranker-v2-gemma)在相關(guān)性方面最接近,但在參數(shù)數(shù)量方面則大一個(gè)數(shù)量級(jí)。話雖如此,我們?cè)?Open Inference API 中提供了集成,以便訪問(wèn)其他第三方重新排序程序,因此你可以輕松測(cè)試并親自查看。
易于使用
Elastic Rerank 模型不僅具有出色的性能和成本特性,我們還使其非常易于使用,以提高詞匯搜索的相關(guān)性。我們希望提供易于使用的原語(yǔ),幫助你快速構(gòu)建有效的搜索,而無(wú)需做出大量決策;從使用哪種模型到如何在搜索管道中使用它們。我們讓它易于上手和擴(kuò)展。
你現(xiàn)在可以將 Inference API 與 text_similiarity_reranker 檢索器結(jié)合使用 Elastic Rerank。下載并部署后,每個(gè)搜索請(qǐng)求都可以處理完整的混合搜索查詢(xún),并在一個(gè)簡(jiǎn)單的 _search 查詢(xún)中對(duì)結(jié)果集進(jìn)行重新排序。
PUT _inference/rerank/elastic-rerank
{"service": "elasticsearch","service_settings": {"model_id": ".rerank-v1","num_allocations": 1,"num_threads": 1}
}
將 Elastic Rerank 模型集成到你的代碼中非常容易,可以組合不同的檢索器以將混合搜索與重新排名相結(jié)合。以下是使用 ELSER 進(jìn)行語(yǔ)義搜索、使用 RRF 進(jìn)行混合搜索并使用重新排名器對(duì)結(jié)果進(jìn)行排名的示例。
GET retrievers_example/_search
{"retriever": {"text_similarity_reranker": {"retriever": {"rrf": {"retrievers": [{"standard": {"query": {"sparse_vector": {"field": "vector.tokens","inference_id": ".elser-2-elasticsearch","query": "Cobrai Kai was a homage to the greatest movie of all time!"}}}},{"knn": {"field": "vector","query_vector": [0.23,0.67,0.89],"k": 3,"num_candidates": 5}}],"rank_window_size": 10,"rank_constant": 1}},"field": "text","inference_id": "elastic-rerank","inference_text": "Which show continues the awesomeness of Karate Kid, the 1984 movie?"}},"_source": ["text", "topic"]
}
如果你擁有像我這樣的有趣數(shù)據(jù)集,將對(duì)人工智能的熱愛(ài)與 Cobrai Kai 結(jié)合起來(lái),你將獲得一些有意義的東西。
總結(jié)
- 僅限英語(yǔ)的跨編碼器模型
- 語(yǔ)義提升你的關(guān)鍵字搜索,幾乎不改變數(shù)據(jù)的索引和搜索方式
- 對(duì)與索引和搜索分離的語(yǔ)義提升成本有更大的控制和靈活性
- 重復(fù)使用你已經(jīng)在 Elasticsearch 中擁有的數(shù)據(jù)
- 顯著提高相關(guān)性和性能(與明顯更大的模型相比,在大量檢索任務(wù)中平均提高 40%,在問(wèn)答任務(wù)中提高高達(dá) 90%,使用超過(guò) 21 個(gè)數(shù)據(jù)集進(jìn)行測(cè)試,平均 nDCG@10 提高 +13 分)
- 易于使用,開(kāi)箱即用;內(nèi)置于 Elastic Inference API,易于加載和用于搜索管道
- 在我們的產(chǎn)品套件中提供技術(shù)預(yù)覽,最簡(jiǎn)單的入門(mén)方式是使用 Elasticsearch Serverless
如果你想閱讀我們?nèi)绾螛?gòu)建它的所有細(xì)節(jié),請(qǐng)?jiān)L問(wèn)我們的?Search Labs?博客。
Elasticsearch 包含許多新功能,可幫助你為你的用例構(gòu)建最佳搜索解決方案。深入了解我們的示例筆記本以了解更多信息,開(kāi)始免費(fèi)云試用,或立即在本地機(jī)器上試用 Elastic。
更多閱讀:介紹 Elastic Rerank:Elastic 的新語(yǔ)義重新排序模型
原文:cRank it up! - Introducing the Elastic Rerank model (in Technical Preview) - Elasticsearch Labs