信息檢索定義

信息檢索 (IR) 是一種有助于從大量非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)中有效、高效地檢索相關(guān)信息的過程。信息（IR）檢索系統(tǒng)有助于搜索、定位和呈現(xiàn)與用戶的搜索查詢或信息需求相匹配的信息。

作為信息訪問的主要形式，信息檢索是每天使用搜索引擎的數(shù)十億人的依靠。信息檢索系統(tǒng)部署了各種模型、算法和日益先進(jìn)的技術(shù)（例如：向量搜索），使搜索訪問范圍廣泛且不斷增長(zhǎng)的來源成為可能，包括文檔、文檔中的項(xiàng)目、元數(shù)據(jù)以及文本、圖像、視頻和聲音的數(shù)據(jù)庫。

信息檢索簡(jiǎn)史

信息檢索的起源可以追溯到古代，當(dāng)時(shí)人們建立了圖書館和檔案館來組織和存儲(chǔ)信息，包括對(duì)學(xué)術(shù)作品進(jìn)行索引和字母排序。到了 19 世紀(jì)，人們開始使用打孔卡來處理信息，1931 年，伊曼紐爾·戈德堡 (Emanuel Goldberg) 獲得了第一臺(tái)成功的機(jī)電文檔檢索設(shè)備的專利，該設(shè)備被稱為 “統(tǒng)計(jì)機(jī)（Statistical Machine）”，旨在搜索膠片上編碼的數(shù)據(jù)。

隨著現(xiàn)代計(jì)算機(jī)的發(fā)展，信息檢索在 20 世紀(jì)中葉開始正式化為一門科學(xué)學(xué)科。杰拉德·薩爾頓 (Gerard Salton) 和漢斯·彼得·盧恩 (Hans Peter Luhn) 開創(chuàng)了自動(dòng)文檔檢索的早期模型。 20 世紀(jì) 60 年代，Salton 和康奈爾大學(xué)的同事創(chuàng)建了 SMART 信息檢索系統(tǒng)，這是該領(lǐng)域的一個(gè)里程碑，為現(xiàn)代 IR 技術(shù)和關(guān)鍵概念奠定了基礎(chǔ)，包括術(shù)語文檔矩陣、向量空間模型、相關(guān)反饋和 Rocchio 分類。

到 20 世紀(jì) 70 年代，隨著更先進(jìn)的檢索技術(shù)、概率模型和完全清晰的向量處理框架的出現(xiàn)，該領(lǐng)域取得了長(zhǎng)足的進(jìn)步。隨著 20 世紀(jì) 90 年代末搜索引擎的出現(xiàn)，曾經(jīng)主要屬于學(xué)術(shù)界、機(jī)構(gòu)和圖書館領(lǐng)域的 IR 系統(tǒng)和模型開始得到廣泛應(yīng)用。

信息檢索模型的類型

不同類型的信息檢索模型旨在應(yīng)對(duì)特定挑戰(zhàn)并建立檢索相關(guān)信息的流程。有經(jīng)典模型構(gòu)成該領(lǐng)域的基礎(chǔ)，有非經(jīng)典模型試圖解決傳統(tǒng)方法的局限性，還有替代 IR 模型走得更遠(yuǎn)，通常通過集成機(jī)器學(xué)習(xí)和語言模型等先進(jìn)技術(shù)。一般來說，最常見的信息檢索模型類型包括：

布爾模型

布爾模型是最簡(jiǎn)單和最早的信息檢索模型之一，它基于布爾邏輯，使用包括 AND、OR 和 NOT 在內(nèi)的運(yùn)算符來組合查詢?cè)~。文檔表示為術(shù)語集，查詢經(jīng)過處理以識(shí)別符合指定條件的文檔。雖然布爾模型對(duì)于精確查詢匹配很有效，但它無法根據(jù)相關(guān)性對(duì)文檔進(jìn)行排名或提供部分匹配。

向量空間模型

在此模型中，文檔和查詢表示為多維空間中的向量。每個(gè)維度對(duì)應(yīng)一個(gè)唯一的術(shù)語，每個(gè)維度的值表示該術(shù)語在文檔或查詢中的重要性和頻率。計(jì)算查詢向量和文檔向量之間的余弦相似度來確定文檔與查詢的相關(guān)性。向量空間模型的部分開發(fā)目的是為了解決布爾模型的缺點(diǎn)，它可以根據(jù)相關(guān)性分?jǐn)?shù)提供排名結(jié)果，并廣泛用于文本檢索。

概率模型

此模型估計(jì)文檔與給定查詢相關(guān)的概率。它考慮術(shù)語頻率和文檔長(zhǎng)度等因素來計(jì)算相關(guān)性概率。它在處理大量數(shù)據(jù)時(shí)特別有用。由于它與加權(quán)統(tǒng)計(jì)數(shù)據(jù)一起工作，因此該模型非常適合提供排名結(jié)果。

潛在語義索引 (Latent Semantic Indexing - LSI)

LSI 使用奇異值分解 (Singular Value Decomposition, SVD) 來捕捉術(shù)語與文檔之間的語義關(guān)系。與語義搜索類似，語義索引利用意圖和上下文來識(shí)別概念上相關(guān)的文檔，即使它們并不共享完全相同的術(shù)語。這一關(guān)鍵能力使 LSI 能夠有效提取文本主體中詞語的上下文意義。

Okapi BM25

BM25 是概率模型中比較流行的變體之一，是一種搜索相關(guān)性排名函數(shù)。搜索引擎使用它來估計(jì)文檔與搜索查詢的相關(guān)性。它根據(jù)出現(xiàn)在每個(gè)文檔中的查詢?cè)~對(duì)一組文檔進(jìn)行排名，而不考慮文檔中詞之間的相互關(guān)系，它由許多具有不同組件和參數(shù)的評(píng)分函數(shù)組成。BM 代表 “最佳匹配 - best matching.”。

信息檢索為何如此重要？

在信息時(shí)代，每秒都會(huì)生成數(shù)據(jù)，其規(guī)模曾經(jīng)令人難以想象。如果沒有可行的信息訪問方式，數(shù)據(jù)實(shí)際上就是無用的。IR 系統(tǒng)可確保用戶在信息過載的噪聲不斷增加的情況下獲得所需的相關(guān)信息。

信息檢索在現(xiàn)代世界的幾乎所有行業(yè)和領(lǐng)域都發(fā)揮著至關(guān)重要的作用，從學(xué)術(shù)界和電子商務(wù)到醫(yī)療保健和國防。它是一種人機(jī)界面，可幫助企業(yè)和個(gè)人進(jìn)行決策、研究和知識(shí)發(fā)現(xiàn)。從搜索本地桌面到發(fā)現(xiàn)世界新聞，從基因組研究到垃圾郵件過濾，信息檢索幾乎是我們生活的方方面面的基礎(chǔ)。

搜索引擎依靠信息檢索模型來提供準(zhǔn)確的搜索結(jié)果。電子商務(wù)平臺(tái)使用檢索模型根據(jù)用戶偏好和行為推薦產(chǎn)品。數(shù)字圖書館依靠信息檢索科學(xué)來幫助用戶進(jìn)行研究。在醫(yī)療保健領(lǐng)域，信息檢索系統(tǒng)可幫助在數(shù)據(jù)庫中搜索相關(guān)患者記錄、醫(yī)學(xué)研究和治療方案。法律專業(yè)人士則使用信息檢索來梳理大量法律案件，尋找先例。

信息檢索系統(tǒng)如何工作？

信息檢索過程通常在用戶向系統(tǒng)輸入正式查詢以說明其信息需求時(shí)觸發(fā)。IR 系統(tǒng)在內(nèi)容集合或信息數(shù)據(jù)庫中創(chuàng)建文檔索引。數(shù)據(jù)對(duì)象（包括來自文本文檔、圖像、音頻和視頻的數(shù)據(jù)對(duì)象）經(jīng)過處理以提取相關(guān)術(shù)語和替代數(shù)據(jù)，并使用數(shù)據(jù)結(jié)構(gòu)有效地存儲(chǔ)和檢索這些實(shí)體。

當(dāng)用戶提交查詢時(shí)，系統(tǒng)會(huì)對(duì)其進(jìn)行處理以識(shí)別相關(guān)術(shù)語并確定其重要性。然后，系統(tǒng)根據(jù)文檔與查詢的相關(guān)性對(duì)其進(jìn)行排名。在許多情況下，IR 模型和算法用于根據(jù)集合或數(shù)據(jù)庫中的每個(gè)對(duì)象與查詢的匹配程度來計(jì)算數(shù)字分?jǐn)?shù)。許多查詢不會(huì)完全匹配：最相關(guān)的文檔以排名列表的形式呈現(xiàn)給用戶。這些排名結(jié)果代表了信息檢索搜索和數(shù)據(jù)庫搜索之間的一個(gè)主要區(qū)別。

信息檢索系統(tǒng)的主要組件

信息檢索系統(tǒng)由幾個(gè)關(guān)鍵組件組成：

• 文檔集合
  • 系統(tǒng)可以從中檢索信息的文檔集。
• 索引組件
  • 處理源數(shù)據(jù)和文檔以創(chuàng)建索引，將術(shù)語和數(shù)據(jù)映射到包含它們的文檔 — 通常采用專用的、優(yōu)化的數(shù)據(jù)結(jié)構(gòu)。
• 查詢處理器
  • 查詢處理器分析用戶查詢和關(guān)鍵字，并準(zhǔn)備將它們與索引實(shí)體進(jìn)行匹配。
• 排名算法
  • 排名算法確定文檔與查詢的相關(guān)性并為其分配分?jǐn)?shù)。最常見的是 BM25（最佳匹配 25）排名算法，該算法以其對(duì)詞頻的改進(jìn)方法而聞名，可避免文檔中充斥過多的關(guān)鍵字和重復(fù)術(shù)語。
• 用戶界面
  • UI 是用戶與系統(tǒng)交互、提交查詢和顯示結(jié)果的顯示界面。在這里，可以根據(jù)結(jié)果對(duì)用戶查詢的響應(yīng)程度對(duì)其進(jìn)行調(diào)整。在某些情況下，機(jī)制可能允許用戶對(duì)檢索到的文檔的相關(guān)性提供反饋，這可用于改進(jìn)未來的檢索。

信息檢索的好處

信息檢索模型的顯著好處包括：

• 高效的信息訪問：最重要的是，信息檢索系統(tǒng)為人們節(jié)省了大量的時(shí)間和精力。信息檢索使用戶能夠快速訪問相關(guān)信息，而無需手動(dòng)搜索大量文檔和數(shù)據(jù)。
• 知識(shí)發(fā)現(xiàn)：信息檢索是一種強(qiáng)大的工具，可以讓我們理解數(shù)據(jù)。借助信息檢索，用戶可以識(shí)別數(shù)據(jù)中最初可能不明顯的趨勢(shì)、模式和關(guān)系。
• 個(gè)性化：一些信息檢索系統(tǒng)可以根據(jù)個(gè)人用戶的偏好和行為以有意義的方式定制結(jié)果。
• 決策支持：專業(yè)人士能夠在需要時(shí)訪問最相關(guān)的信息，從而做出明智的決策。

信息檢索的挑戰(zhàn)和局限性

盡管取得了重大進(jìn)展，但信息檢索從來都不完美。已知的問題、挑戰(zhàn)和局限性仍然存在，包括：

• 模糊性自然語言本質(zhì)上是模糊的，因此很難準(zhǔn)確解釋用戶查詢。類似的模糊性和不確定性問題會(huì)影響索引和評(píng)估過程，尤其是對(duì)于圖像和視頻等對(duì)象。
• 相關(guān)性確定相關(guān)性是主觀的，可能會(huì)因用戶上下文和意圖而異。用于確定價(jià)值和重要性的標(biāo)準(zhǔn)可能受一組不完善的通用標(biāo)準(zhǔn)的支配，這些標(biāo)準(zhǔn)不能反映個(gè)人用戶的特定需求。
• 語義差距由于文本表示和人類理解之間的差距，檢索系統(tǒng)可能難以捕捉內(nèi)容的深層含義。信息和用戶表達(dá)的不清晰是成功進(jìn)行 IR 的主要障礙。由人工智能驅(qū)動(dòng)的高級(jí)自然語言處理旨在彌合這些語義和模糊性差距。
• 可擴(kuò)展性隨著數(shù)據(jù)量的增加，維持高效、有效的檢索和索引變得更加復(fù)雜，需要越來越多的資源和計(jì)算能力。

信息檢索的未來趨勢(shì)

隨著生成式人工智能和機(jī)器學(xué)習(xí)的最新突破，我們所熟知的信息檢索可能即將迎來變革。

先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)已經(jīng)通過從用戶交互中學(xué)習(xí)并適應(yīng)不斷變化的環(huán)境、位置和偏好來增強(qiáng)檢索。改進(jìn)的自然語言處理和語義分析可以更好地理解用戶查詢和文檔內(nèi)容。檢索系統(tǒng)也在不斷發(fā)展，以更有效地處理不斷增長(zhǎng)的多媒體內(nèi)容。

生成式人工智能對(duì)信息檢索的影響具有革命性的潛力。我們將收到問題的實(shí)際答案，而不是我們習(xí)慣的結(jié)果排序列表，這需要手動(dòng)對(duì)現(xiàn)有鏈接和文檔進(jìn)行排序才能找到我們正在尋找的內(nèi)容。上下文將從一個(gè)問題傳遞到另一個(gè)問題，允許進(jìn)行復(fù)雜、對(duì)話式、多步驟的查詢，幾乎消除了人類語言處理和意圖的障礙。搜索引擎無需我們自己拼湊答案，而是會(huì)替我們完成工作，將信息綜合成原創(chuàng)內(nèi)容形式的具體定制結(jié)果，提供我們真正需要的內(nèi)容，而不會(huì)提供我們不需要的內(nèi)容。

深入研究 2024 年技術(shù)搜索趨勢(shì)。觀看此網(wǎng)絡(luò)研討會(huì)，了解最佳實(shí)踐、新興方法以及頂級(jí)趨勢(shì)如何影響 2024 年的開發(fā)人員。

使用 Elasticsearch 進(jìn)行信息檢索

Elastic 致力于不斷改進(jìn) Elastic Stack 中可用的信息檢索功能。我們最新的檢索模型 Elastic Learned Sparse Encoder 通過預(yù)先訓(xùn)練的語言模型增強(qiáng)了 Elastic 的開箱即用檢索功能。為了實(shí)現(xiàn)真正的一鍵式體驗(yàn)，我們將其與新的 Elasticsearch Relevance Engine 集成在一起。

Elasticsearch 還具有出色的詞匯檢索功能和豐富的工具，可用于組合不同查詢的結(jié)果，這一概念稱為混合檢索。我們還通過 NLP 和向量搜索增強(qiáng)了聊天機(jī)器人功能，發(fā)布了用于文本嵌入的第三方自然語言處理模型，并使用 BEIR 的子集評(píng)估我們的性能。

你接下來應(yīng)該做什么

只要你準(zhǔn)備好了……我們可以通過以下四種方式幫助你從業(yè)務(wù)數(shù)據(jù)中獲取見解：

1. 開始免費(fèi)試用，了解 Elastic 如何幫助你的業(yè)務(wù)。
2. 瀏覽我們的解決方案，了解 Elasticsearch 平臺(tái)的工作原理以及它們?nèi)绾螡M足你的需求。
3. 了解如何在企業(yè)中提供生成式 AI。
4. 與你認(rèn)識(shí)的喜歡閱讀這篇文章的人分享這篇文章。通過電子郵件、LinkedIn、Twitter 或 Facebook 與他們分享。

原文：What is Information Retrieval? | A Comprehensive Information Retrieval (IR) Guide | Elastic