向量數(shù)據(jù)庫：AI時(shí)代的新基座

人工智能在無處不在影響著我們的生活，而人工智能飛速發(fā)展的背后是需要對(duì)越來越多的海量數(shù)據(jù)處理，傳統(tǒng)數(shù)據(jù)庫已經(jīng)難以支撐大規(guī)模的復(fù)雜數(shù)據(jù)處理。特別是大模型的出現(xiàn)，向量數(shù)據(jù)庫橫空出世。NVIDIA CEO黃仁勛在NVIDIA GTC Keynote演講中首次提到了向量數(shù)據(jù)庫，并強(qiáng)調(diào)它在構(gòu)建專有大型語言模型組織中的重要性。作為新一代AI處理器，大型模型提供了強(qiáng)大的數(shù)據(jù)處理能力，而向量數(shù)據(jù)庫則成為了存儲(chǔ)能力的關(guān)鍵基礎(chǔ)。

向量數(shù)據(jù)庫是一種專門用于存儲(chǔ)和查詢向量數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)，它采用向量化計(jì)算，能夠快速處理大規(guī)模復(fù)雜數(shù)據(jù)，相較于關(guān)系型數(shù)據(jù)庫有著更高的性能。與傳統(tǒng)數(shù)據(jù)庫相比，向量數(shù)據(jù)庫可以處理高維數(shù)據(jù)，例如圖像、音頻和視頻等，從而解決了傳統(tǒng)關(guān)系型數(shù)據(jù)庫的瓶頸。此外，向量數(shù)據(jù)庫可以利用分布式、云計(jì)算和邊緣計(jì)算等技術(shù)輕松地?cái)U(kuò)展到多個(gè)節(jié)點(diǎn)，從而實(shí)現(xiàn)數(shù)據(jù)處理規(guī)模的擴(kuò)大，并提高向量數(shù)據(jù)的存儲(chǔ)、管理和查詢的穩(wěn)定性。

我們不禁要問，向量數(shù)據(jù)庫相比于傳統(tǒng)數(shù)據(jù)庫有如此亮眼的表現(xiàn)，背后是哪些核心技術(shù)在支撐呢？

向量數(shù)據(jù)庫的核心技術(shù)

什么是向量數(shù)據(jù)？

向量數(shù)據(jù)是由多個(gè)數(shù)值組成的序列，可以表示一個(gè)數(shù)據(jù)量的大小和方向。通過Embedding技 術(shù)，圖像、聲音、文本都可以被表達(dá)為一個(gè)高維的向量，比如一張圖片可以轉(zhuǎn)換為一個(gè)由像素值構(gòu)成的向量。

在計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)中，向量數(shù)據(jù)廣泛應(yīng)用于各種領(lǐng)域，如機(jī)器學(xué)習(xí)、圖像處理、自然語言處理等。例如，在機(jī)器學(xué)習(xí)中，數(shù)據(jù)通常以向量的形式表示，每個(gè)維度表示一個(gè)特征，從而可以進(jìn)行各種模型的訓(xùn)練和預(yù)測(cè)。通過對(duì)向量數(shù)據(jù)進(jìn)行計(jì)算，可以進(jìn)行相似度比較、聚類分析、分類和預(yù)測(cè)等任務(wù)。向量數(shù)據(jù)的處理和分析對(duì)于許多領(lǐng)域的數(shù)據(jù)科學(xué)和人工智能應(yīng)用至關(guān)重要。

什么是向量數(shù)據(jù)庫？

向量數(shù)據(jù)庫是一種專門用于存儲(chǔ)和查詢向量數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)。 向量數(shù)據(jù)庫支持對(duì)向量數(shù)據(jù)進(jìn)行各種操作，例如向量檢索，根據(jù)給定的向量，找出數(shù)據(jù)庫中與之最相似的向量；例如向量聚類：根據(jù)給定的相似度度量，將數(shù)據(jù)庫中的向量分類，例如根據(jù)圖片的內(nèi)容或風(fēng)格，將圖片分成不同的主題。

向量數(shù)據(jù)庫有哪些技術(shù)上的難點(diǎn)？

向量數(shù)據(jù)庫主要有高維度、稀疏性、異構(gòu)性和動(dòng)態(tài)性四大難點(diǎn)。高維度是指向量數(shù)據(jù)通常包含大量元素，具有較高的維度，維度越高，對(duì)數(shù)據(jù)庫性能的要求也就越高；稀疏性是指向量數(shù)據(jù)中很多元素的值可能為零或接近零，只有少數(shù)元素具有顯著非零值，分布越稀疏越難以處理；異構(gòu)性是指向量數(shù)據(jù)中的元素可能具有不同的類型或含義，表示不同的特征或?qū)傩?#xff1b;動(dòng)態(tài)性是指向量數(shù)據(jù)可能隨著時(shí)間或環(huán)境的變化而發(fā)生變化，可以是實(shí)時(shí)更新的，更新的頻率越高，對(duì)數(shù)據(jù)庫的查詢、檢索等要求也就越高。

分布式系統(tǒng)架構(gòu)與負(fù)載均衡

針對(duì)向量數(shù)據(jù)規(guī)模龐大的問題，單機(jī)無法滿足存儲(chǔ)、計(jì)算需求， 所以必須要使用分布式系統(tǒng)。例如下圖是騰訊云向量數(shù)據(jù)庫分布式架構(gòu)圖，客戶的請(qǐng)求通過負(fù)載均衡分發(fā)到各節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)均可直接進(jìn)行讀/寫操作，負(fù)責(zé)數(shù)據(jù)的計(jì)算及存儲(chǔ)。

向量索引技術(shù)

向量數(shù)據(jù)維度很高，直接進(jìn)行全量掃描或者基于樹結(jié)構(gòu) 的索引會(huì)導(dǎo)致效率低下或者內(nèi)存爆炸。向量索引技術(shù)是一種專門用于向量數(shù)據(jù)的索引方法，旨在加快對(duì)向量數(shù)據(jù)的相似度搜索和查詢操作。 首先對(duì)向量數(shù)據(jù)進(jìn)行向量化計(jì)算，將每個(gè)向量映射到一個(gè)高維空間中。然后根據(jù)向量之間的相似度定義構(gòu)建索引結(jié)構(gòu)。常用的向量索引方法包括：

1. FLAT：在FLAT 索引中，向量會(huì)以浮點(diǎn)型的方式進(jìn)行存儲(chǔ)，不做任何壓縮處理。搜索向量會(huì)遍歷所有向量與目標(biāo)向量進(jìn)行比較。當(dāng)查詢數(shù)量較少時(shí)，它是最有效的索引方法。當(dāng)數(shù)據(jù)集非常大時(shí)，FLAT 的性能會(huì)明顯下降。FLAT 適用于數(shù)據(jù)量小，且需要精確匹配的場(chǎng)景等。
2. HNSW：是一種基于圖的算法，它在高維空間中能夠保持較高的精度。HNSW 通過建立一個(gè)多層級(jí)的圖結(jié)構(gòu)來組織數(shù)據(jù)集，并且使用隨機(jī)游走來搜索最近鄰。HNSW 的構(gòu)建過程比 FLAT 更為復(fù)雜，需要更多的計(jì)算資源，但檢索速度更快。HNSW 適用于需要快速近似匹配的場(chǎng)景等。
3. IVF系列：IVF 系列索引的核心思想是將高維空間劃分為多個(gè)聚類，并為每個(gè)聚類構(gòu)建一個(gè)倒排文件。通過這種方法，IVF 系列索引可以在大規(guī)模高維向量數(shù)據(jù)中實(shí)現(xiàn)高效的相似性搜索。

騰訊云向量數(shù)據(jù)庫的優(yōu)勢(shì)

以上種種技術(shù)難點(diǎn)一定程度上阻礙了向量數(shù)據(jù)庫的大規(guī)模落地和使用，全球很多頂尖高科技公司和組織都在投入這個(gè)領(lǐng)域的研究。例如國(guó)際市場(chǎng)上，Zilliz與Nvidia、IBM、 Mircosoft等公司展開合作；Pinecone先后上架Google云和AWS，逐步打開市場(chǎng)。在國(guó)內(nèi)市場(chǎng)騰訊云向量數(shù)據(jù)庫（Tencent Cloud VectorDB）無疑是表現(xiàn)最搶眼的產(chǎn)品之一，憑借著強(qiáng)悍的性能、超高的穩(wěn)定性和可靠性、超高性價(jià)比吸引了越來越多的用戶。

強(qiáng)悍性能

騰訊云向量數(shù)據(jù)庫單索引支持10億級(jí)向量數(shù)據(jù)規(guī)模，在同等向量維度下和數(shù)據(jù)量級(jí)下，相比于開源向量數(shù)據(jù)庫有極大的性能提升，博主在下一節(jié)也親手測(cè)試體驗(yàn)了強(qiáng)悍的性能表現(xiàn)。

如此強(qiáng)大的性能能力建立在云原生的分布式架構(gòu)基礎(chǔ)上，做了大量的負(fù)載均衡優(yōu)化、向量檢索優(yōu)化、向量分析優(yōu)化等，體現(xiàn)了騰訊云深厚的技術(shù)功底。

超高性價(jià)比

騰訊云向量數(shù)據(jù)庫從誕生之初就是基于云原生而設(shè)計(jì)的，得益于騰訊云完善的基礎(chǔ)設(shè)施，用戶直接在云上操作，可以大大減少機(jī)器成本和運(yùn)維成本。所以選擇騰訊云向量數(shù)據(jù)庫無疑是超高性價(jià)比的選擇。

高兼容性

向量數(shù)據(jù)庫支持多種類型和格式的向量數(shù)據(jù)，同時(shí)提供多種語言和平臺(tái)的接口和工具，具備高度的兼容性，方便用戶進(jìn)行集成和使用。騰訊云向量數(shù)據(jù)庫提供了Python SDK和HTTP SDK兩種SDK，例如使用Python SDK只需要執(zhí)行下面的pip命令安裝 tcvectordb庫即可。

Shell pip install tcvectordb-0.0.2-py3-none-any.whl

Python SDK提供了創(chuàng)建表格、寫入數(shù)據(jù)、查詢數(shù)據(jù)、相似性檢索等API接口，使用起來非常方便。用戶可以在官方手冊(cè)中找到更多的教程和示例。

性能實(shí)測(cè)：128維向量查詢

準(zhǔn)備工作

最近騰訊云向量數(shù)據(jù)庫也開放了產(chǎn)品內(nèi)測(cè)功能，大家可以去官網(wǎng)按照產(chǎn)品手冊(cè)的指導(dǎo)，親手內(nèi)測(cè)體驗(yàn)一下吧！博主很幸運(yùn)率先體驗(yàn)到了騰訊云向量數(shù)據(jù)庫，并親手測(cè)了大家最關(guān)心的數(shù)據(jù)庫性能、穩(wěn)定性和可靠性，沒來得及體驗(yàn)的朋友就請(qǐng)先跟著博主的視角一睹為快吧！

在正式測(cè)評(píng)前，先介紹以下我們的測(cè)試工具ann-benchamrk 。這是是一個(gè)用于評(píng)估近似最近鄰（ANN）搜索庫的性能測(cè)試工具，包含了多個(gè)真實(shí)數(shù)據(jù)集，其中包括圖像、文本、生物信息學(xué)等領(lǐng)域的數(shù)據(jù)。每個(gè)數(shù)據(jù)集都有一個(gè)已知的最近鄰集合，可以用作性能評(píng)估的標(biāo)準(zhǔn)。此外，ANN-Benchmarks還提供了一些常用的評(píng)估指標(biāo)，如精確度、查詢時(shí)間和內(nèi)存消耗等，用于衡量不同算法在近似最近鄰搜索任務(wù)中的性能。具體數(shù)據(jù)集信息如下表所示：

我們首先在控制臺(tái)新建一個(gè)向量數(shù)據(jù)庫：

在新建完數(shù)據(jù)庫后，我們可以點(diǎn)進(jìn)實(shí)例列表查看我們剛才新建實(shí)例的基本信息、規(guī)格信息和架構(gòu)圖：

為了測(cè)試需要，我們還需要購買一臺(tái)CVM云服務(wù)器，可以根據(jù)自身需求購買不同配置的服務(wù)器：

購買時(shí)博主選擇了按量計(jì)費(fèi)的模型，配置如下：

執(zhí)行測(cè)試

在開通完CVM之后，我們啟動(dòng)機(jī)器，打開我們的測(cè)試工具ann-benchamrk，安裝測(cè)試環(huán)境依賴的包：

然后我們拷貝ann_benchmarks/algorithms/vector_db/config.yml 路徑下的配置文件，重新命名為mytest.yml。查看我們剛才創(chuàng)建的向量數(shù)據(jù)庫，配置數(shù)據(jù)庫實(shí)例內(nèi)網(wǎng) IP 地址與端口。

接下來運(yùn)行run.py執(zhí)行128維向量性能測(cè)試：

多進(jìn)程壓測(cè)結(jié)果

我們用L2 euclidean歐式距離做衡量，在數(shù)據(jù)集量級(jí)100w和128維向量檢索的條件下，獲取最相似的 Top10的文檔，比較QPS數(shù)據(jù)。騰訊云向量數(shù)據(jù)庫的HNSW 索引都可以達(dá)到99%以上的召回率，QPS大約在13800以上，開源的向量數(shù)據(jù)庫Faiss、Elasticsearch等在同等測(cè)試條件下，QPS都不超過4000，所以騰訊云向量數(shù)據(jù)庫取得了至少3倍以上的性能提升。

結(jié)語

大模型的熱潮宣告著人工智能的又一波高潮已經(jīng)到來，向量數(shù)據(jù)庫作為人工智能時(shí)代的基座，必將迎來一個(gè)飛速發(fā)展的新階段。博主親手體驗(yàn)了騰訊云向量數(shù)據(jù)庫，能夠切實(shí)解決傳統(tǒng)數(shù)據(jù)庫的諸多難點(diǎn)，強(qiáng)悍的性能和穩(wěn)定性令我大受震撼。未來必定是屬于AI的時(shí)代，讓我們一起擁抱AI，擁抱向量數(shù)據(jù)庫吧！

?