最近，DeepSeek v3（一個(gè)MoE模型，擁有671B參數(shù)，其中37B參數(shù)被激活）模型全球爆火。

作為一款能與Claude 3.5 Sonnet，GPT-4o等模型匹敵的開(kāi)源模型DeepSeek v3不僅將其算法開(kāi)源，還放出一份扎實(shí)的技術(shù)報(bào)告，詳盡描述了DeepSeek是如何進(jìn)行大模型架構(gòu)、算法工程協(xié)同設(shè)計(jì)，部署，訓(xùn)練，數(shù)據(jù)處理等方面的思考，堪稱是一份DeepSeek給開(kāi)源社區(qū)送上的年末大禮。

本篇文章，我們會(huì)對(duì)DeepSeek v3的亮點(diǎn)進(jìn)行梳理，并對(duì)其RAG搭建流程與效果，做一個(gè)簡(jiǎn)單的示例。

01.

DeepSeek v3的亮點(diǎn)

亮點(diǎn)一：超低的訓(xùn)練成本，將帶來(lái)算力的極大富余

相比于海外大廠動(dòng)輒上萬(wàn)甚至上十萬(wàn)的H100集群（例如Meta使用了16K的H100訓(xùn)練Llama3.1 405B），DeepSeek僅僅使用了2048張丐版顯卡H800就在14.8T數(shù)據(jù)上訓(xùn)練了一個(gè)處于第一梯隊(duì)的開(kāi)源模型。以下是DeepSeek v3的訓(xùn)練成本數(shù)據(jù)。

不難看出，基于以上數(shù)據(jù)，傳統(tǒng)對(duì)大模型對(duì)算力的供需預(yù)測(cè)推演直接被推翻，過(guò)去Scaling law曲線所估算出的GPU需求數(shù)量會(huì)出現(xiàn)極大冗余。

那么問(wèn)題來(lái)了，DeepSeek v3是如何做到的？

亮點(diǎn)二：顛覆GPT架構(gòu)，極致的工程設(shè)計(jì)

在去年，大模型領(lǐng)域普遍認(rèn)為模型的設(shè)計(jì)已經(jīng)收斂到Decoder-only的GPT架構(gòu)，但DeepSeek依然沒(méi)有放棄對(duì)模型架構(gòu)的進(jìn)一步探索。

這一次V3的設(shè)計(jì)延用了V2提出的MLA（Multi-head Latent Attention），這是一種通過(guò)低秩壓縮鍵值對(duì)來(lái)減少緩存需求的創(chuàng)新架構(gòu)，以提高Transformer模型的推理效率。

另外，此次的MoE模型規(guī)格也比之前大了許多（V3 671B， V2 236B），也體現(xiàn)出了對(duì)這個(gè)架構(gòu)擁有更多的信心和經(jīng)驗(yàn)。DeepSeek V3將除前三層外的所有 FFN 層替換為 MoE 層。每個(gè) MoE 層包含 1 個(gè)共享專(zhuān)家和 256 個(gè)路由專(zhuān)家。在路由專(zhuān)家中，每個(gè) token 將激活 8 個(gè)專(zhuān)家，并確保每個(gè) token 最多會(huì)被發(fā)送到 4 個(gè)節(jié)點(diǎn)。

同時(shí)，論文還對(duì)如何在系統(tǒng)中設(shè)計(jì)將這種架構(gòu)進(jìn)行推理的性能優(yōu)化也進(jìn)行了詳盡的描述。

DeepSeek V3使用了多token預(yù)測(cè)（MTP），即每個(gè) token 除了精確預(yù)測(cè)下一個(gè) token 外，還會(huì)預(yù)測(cè)一個(gè)額外的 token，通過(guò)投機(jī)采樣的方式提高推理效率。

關(guān)于如何使用FP8進(jìn)行模型訓(xùn)練這個(gè)各個(gè)大模型工程團(tuán)隊(duì)頭痛的問(wèn)題，DeepSeek V3也對(duì)自己的實(shí)踐有細(xì)致的描述，對(duì)這部分感興趣的朋友強(qiáng)烈推薦閱讀論文原文。

亮點(diǎn)三：通過(guò)蒸餾推理模型進(jìn)行后訓(xùn)練

自從OpenAI發(fā)布了o1模型之后，業(yè)界開(kāi)始逐漸興起了探索這種內(nèi)置思維璉（CoT）的模型，它不斷對(duì)中間結(jié)果探索分析的過(guò)程仿佛人的“慢思考”。DeepSeek同樣也開(kāi)發(fā)了類(lèi)似的R1模型，在DeepSeek V3中，DeepSeek創(chuàng)新性地通過(guò)在后訓(xùn)練階段使用R1得到的高質(zhì)量答案來(lái)提高了自身的性能。這一點(diǎn)也非常有趣。

眾所周知，類(lèi)似o1的開(kāi)源模型大部分都是從基礎(chǔ)模型利用CoT結(jié)合強(qiáng)化學(xué)習(xí)的技巧訓(xùn)練出來(lái)提高了推理效果，而現(xiàn)在又通過(guò)蒸餾推理模型獲得了下一代更好的基礎(chǔ)模型，這一種模型和數(shù)據(jù)質(zhì)量互相交織的發(fā)展模式貫穿著機(jī)器學(xué)習(xí)發(fā)展的歷史，而還將繼續(xù)被見(jiàn)證。

而以發(fā)掘非結(jié)構(gòu)化數(shù)據(jù)價(jià)值的廠商Zilliz也相信對(duì)于數(shù)據(jù)和知識(shí)的高效管理，將會(huì)一直在智能化浪潮發(fā)展中扮演著重要的角色。

看到10K$的后訓(xùn)練成本，相信許多致力于微調(diào)專(zhuān)屬大模型的廠商都躍躍欲試，在這里我們也來(lái)看一下DeepSeek V3的后訓(xùn)練過(guò)程，整個(gè)流程也比傳統(tǒng)的SFT要復(fù)雜一些。整個(gè)過(guò)程分成了SFT階段（監(jiān)督學(xué)習(xí)）以及RL階段（強(qiáng)化學(xué)習(xí)），在SFT階段，他們將數(shù)據(jù)分成了兩種類(lèi)型，推理數(shù)據(jù)以及非推理數(shù)據(jù)

推理數(shù)據(jù)：

包括數(shù)學(xué)，編程這些問(wèn)題，DeepSeek訓(xùn)練了針對(duì)性的專(zhuān)家模型，并使用專(zhuān)家模型為每一個(gè)問(wèn)題生成了兩種格式的學(xué)習(xí)數(shù)據(jù)。

• <problem, original response>

• <system prompt, problem, R1 response>

非推理數(shù)據(jù)：

對(duì)于非推理任務(wù)（如創(chuàng)意寫(xiě)作和簡(jiǎn)單問(wèn)答），作者利用DeepSeek-V2.5模型生成初步響應(yīng)，并聘請(qǐng)人工標(biāo)注員對(duì)其準(zhǔn)確性進(jìn)行驗(yàn)證

訓(xùn)練的流程：

• SFT階段，使用基于專(zhuān)家模型生成的SFT樣本，進(jìn)行初步的監(jiān)督微調(diào)。通過(guò)這些訓(xùn)練數(shù)據(jù)，模型學(xué)習(xí)如何根據(jù)問(wèn)題和回答生成精確的推理響應(yīng)。

• RL階段，使用高溫采樣來(lái)生成響應(yīng)，這些響應(yīng)融合了來(lái)自原始數(shù)據(jù)和R1生成數(shù)據(jù)的模式。在RL階段，會(huì)使用LeetCode編譯器來(lái)檢查編程的答案，以及一些規(guī)則來(lái)去檢查數(shù)學(xué)問(wèn)題的答案，對(duì)于開(kāi)放性問(wèn)題， 會(huì)用一個(gè)獎(jiǎng)勵(lì)模型來(lái)去判斷。該過(guò)程幫助模型在沒(méi)有顯式系統(tǒng)提示的情況下進(jìn)行推理，經(jīng)過(guò)數(shù)百次RL步驟，模型學(xué)會(huì)如何平衡準(zhǔn)確與簡(jiǎn)潔性的答案。

• 完成RL訓(xùn)練后，作者實(shí)施拒絕采樣策略（過(guò)濾掉模型認(rèn)為低質(zhì)量的數(shù)據(jù)），以從生成的樣本中挑選出高質(zhì)量的SFT數(shù)據(jù)。這些數(shù)據(jù)用于最終模型的微調(diào)。

不難發(fā)現(xiàn)，做好一個(gè)高質(zhì)量的后訓(xùn)練，下的功夫遠(yuǎn)遠(yuǎn)不止10k$的訓(xùn)練算力。

DeepSeek V3雖然擁有可以與閉源模型匹敵的性能，但是部署它依然不是一個(gè)簡(jiǎn)單的事，即使作者已經(jīng)為了推理優(yōu)化做了許多工作，但搭建一個(gè)DeepSeek V3的服務(wù)（考慮到它671B的參數(shù)量），成本依然不低。

02.

使用Milvus和DeepSeek搭建RAG

接下來(lái)，我們將展示如何使用Milvus和DeepSeek構(gòu)建檢索增強(qiáng)生成（RAG）pipeline。

2.1 準(zhǔn)備

2.1.1 依賴和環(huán)境

pip?install?--upgrade?pymilvus[model]?openai?requests?tqdm

如果您使用的是Google Colab，要啟用剛剛安裝的依賴項(xiàng)，您可能需要重啟運(yùn)行環(huán)境（單擊屏幕頂部的“Runtime”菜單，然后從下拉框中選擇“Restart session”）。

DeepSeek啟動(dòng)了OpenAI風(fēng)格的API。您可以登錄官網(wǎng)并將api密鑰 DEEPSEEK_API_KEY準(zhǔn)備為環(huán)境變量。

import?osos.environ["DEEPSEEK_API_KEY"]?=?"***********"

2.1.2?準(zhǔn)備數(shù)據(jù)

我們使用Milvus文檔2.4. x（https://github.com/milvus-io/milvus-docs/releases/download/v2.4.6-preview/milvus_docs_2.4.x_en.zip）中的FAQ頁(yè)面作為RAG中的私有知識(shí)，這是搭建一個(gè)入門(mén)RAG pipeline的優(yōu)質(zhì)數(shù)據(jù)源。

首先，下載zip文件并將文檔解壓縮到文件夾milvus_docs。

!?wget?https://github.com/milvus-io/milvus-docs/releases/download/v2.4.6-preview/milvus_docs_2.4.x_en.zip
!?unzip?-q?milvus_docs_2.4.x_en.zip?-d?milvus_docs

我們從文件夾milvus_docs/en/faq中加載所有markdown文件，對(duì)于每個(gè)文檔，我們只需簡(jiǎn)單地使用“#”來(lái)分隔文件中的內(nèi)容，就可以大致分隔markdown文件各個(gè)主要部分的內(nèi)容。

from?glob?import?globtext_lines?=?[]for?file_path?in?glob("milvus_docs/en/faq/*.md",?recursive=True):with?open(file_path,?"r")?as?file:file_text?=?file.read()text_lines?+=?file_text.split("#?")

2.1.3?準(zhǔn)備LLM和embedding模型

DeepSeek采用了類(lèi)OpenAI風(fēng)格的API，您可以使用相同的API并對(duì)相應(yīng)的LLM進(jìn)行微調(diào)。

from?openai?import?OpenAIdeepseek_client?=?OpenAI(api_key=os.environ["DEEPSEEK_API_KEY"],base_url="https://api.deepseek.com",
)

選擇一個(gè)embedding模型，使用milvus_model來(lái)做文本向量化。我們以DefaultEmbeddingFunction模型為例，它是一個(gè)預(yù)訓(xùn)練的輕量級(jí)embedding模型。

from?pymilvus?import?model?as?milvus_modelembedding_model?=?milvus_model.DefaultEmbeddingFunction()

生成測(cè)試向量，并輸出向量維度以及測(cè)試向量的前幾個(gè)元素。

test_embedding?=?embedding_model.encode_queries(["This?is?a?test"])[0]
embedding_dim?=?len(test_embedding)
print(embedding_dim)
print(test_embedding[:10])

768
[-0.04836066??0.07163023?-0.01130064?-0.03789345?-0.03320649?-0.01318448-0.03041712?-0.02269499?-0.02317863?-0.00426028]

2.2 將數(shù)據(jù)加載到Milvus

2.2.1 創(chuàng)建集合

from?pymilvus?import?MilvusClientmilvus_client?=?MilvusClient(uri="./milvus_demo.db")collection_name?=?"my_rag_collection"

對(duì)于MilvusClient需要說(shuō)明：

• 將uri設(shè)置為本地文件，例如./milvus. db，是最方便的方法，因?yàn)樗鼤?huì)自動(dòng)使用Milvus Lite將所有數(shù)據(jù)存儲(chǔ)在此文件中。

• 如果你有大規(guī)模數(shù)據(jù)，你可以在docker或kubernetes上設(shè)置一個(gè)更高性能的Milvus服務(wù)器。在此設(shè)置中，請(qǐng)使用服務(wù)器uri，例如http://localhost:19530，作為你的uri。

• 如果要使用Milvus的全托管云服務(wù)Zilliz Cloud，請(qǐng)調(diào)整uri和token，分別對(duì)應(yīng)Zilliz Cloud中的公共端點(diǎn)和Api密鑰。

檢查集合是否已經(jīng)存在，如果存在則將其刪除。

if?milvus_client.has_collection(collection_name):milvus_client.drop_collection(collection_name)

使用指定的參數(shù)創(chuàng)建一個(gè)新集合。

如果我們不指定任何字段信息，Milvus將自動(dòng)為主鍵創(chuàng)建一個(gè)默認(rèn)的id字段，并創(chuàng)建一個(gè)向量字段來(lái)存儲(chǔ)向量數(shù)據(jù)。保留的JSON字段用于存儲(chǔ)未在schema里定義的標(biāo)量數(shù)據(jù)。

milvus_client.create_collection(collection_name=collection_name,dimension=embedding_dim,metric_type="IP",??#?Inner?product?distanceconsistency_level="Strong",??#?Strong?consistency?level
)

2.2.2?插入數(shù)據(jù)

逐條取出文本數(shù)據(jù)，創(chuàng)建嵌入，然后將數(shù)據(jù)插入Milvus。

這里有一個(gè)新的字段“text”，它是集合schema中的非定義字段，會(huì)自動(dòng)添加到保留的JSON動(dòng)態(tài)字段中。

from?tqdm?import?tqdmdata?=?[]doc_embeddings?=?embedding_model.encode_documents(text_lines)for?i,?line?in?enumerate(tqdm(text_lines,?desc="Creating?embeddings")):data.append({"id":?i,?"vector":?doc_embeddings[i],?"text":?line})milvus_client.insert(collection_name=collection_name,?data=data)

Creating?embeddings:???0%|??????????|?0/72?[00:00<?,??it/s]huggingface/tokenizers:?The?current?process?just?got?forked,?after?parallelism?has?already?been?used.?Disabling?parallelism?to?avoid?deadlocks...
To?disable?this?warning,?you?can?either:-?Avoid?using?`tokenizers`?before?the?fork?if?possible-?Explicitly?set?the?environment?variable?TOKENIZERS_PARALLELISM=(true?|?false)
Creating?embeddings:?100%|██████████|?72/72?[00:00<00:00,?246522.36it/s]
{'insert_count':?72,?'ids':?[0,?1,?2,?3,?4,?5,?6,?7,?8,?9,?10,?11,?12,?13,?14,?15,?16,?17,?18,?19,?20,?21,?22,?23,?24,?25,?26,?27,?28,?29,?30,?31,?32,?33,?34,?35,?36,?37,?38,?39,?40,?41,?42,?43,?44,?45,?46,?47,?48,?49,?50,?51,?52,?53,?54,?55,?56,?57,?58,?59,?60,?61,?62,?63,?64,?65,?66,?67,?68,?69,?70,?71],?'cost':?0}

2.3 構(gòu)建RAG

2.3.1 檢索查詢數(shù)據(jù)

讓我們指定一個(gè)關(guān)于Milvus的常見(jiàn)問(wèn)題。

question?=?"How?is?data?stored?in?milvus?"

在集合中搜索問(wèn)題并檢索語(yǔ)義top-3匹配項(xiàng)。

search_res?=?milvus_client.search(collection_name=collection_name,data=embedding_model.encode_queries([question]),??#?Convert?the?question?to?an?embedding?vectorlimit=3,??#?Return?top?3?resultssearch_params={"metric_type":?"IP",?"params":?{}},??#?Inner?product?distanceoutput_fields=["text"],??#?Return?the?text?field
)

我們來(lái)看一下query的搜索結(jié)果

import?jsonretrieved_lines_with_distances?=?[(res["entity"]["text"],?res["distance"])?for?res?in?search_res[0]
]
print(json.dumps(retrieved_lines_with_distances,?indent=4))

[["?Where?does?Milvus?store?data?\n\nMilvus?deals?with?two?types?of?data,?inserted?data?and?metadata.?\n\nInserted?data,?including?vector?data,?scalar?data,?and?collection-specific?schema,?are?stored?in?persistent?storage?as?incremental?log.?Milvus?supports?multiple?object?storage?backends,?including?[MinIO](https://min.io/),?[AWS?S3](https://aws.amazon.com/s3/?nc1=h_ls),?[Google?Cloud?Storage](https://cloud.google.com/storage?hl=en#object-storage-for-companies-of-all-sizes)?(GCS),?[Azure?Blob?Storage](https://azure.microsoft.com/en-us/products/storage/blobs),?[Alibaba?Cloud?OSS](https://www.alibabacloud.com/product/object-storage-service),?and?[Tencent?Cloud?Object?Storage](https://www.tencentcloud.com/products/cos)?(COS).\n\nMetadata?are?generated?within?Milvus.?Each?Milvus?module?has?its?own?metadata?that?are?stored?in?etcd.\n\n###",0.6572665572166443],["How?does?Milvus?flush?data?\n\nMilvus?returns?success?when?inserted?data?are?loaded?to?the?message?queue.?However,?the?data?are?not?yet?flushed?to?the?disk.?Then?Milvus'?data?node?writes?the?data?in?the?message?queue?to?persistent?storage?as?incremental?logs.?If?`flush()`?is?called,?the?data?node?is?forced?to?write?all?data?in?the?message?queue?to?persistent?storage?immediately.\n\n###",0.6312146186828613],["How?does?Milvus?handle?vector?data?types?and?precision?\n\nMilvus?supports?Binary,?Float32,?Float16,?and?BFloat16?vector?types.\n\n-?Binary?vectors:?Store?binary?data?as?sequences?of?0s?and?1s,?used?in?image?processing?and?information?retrieval.\n-?Float32?vectors:?Default?storage?with?a?precision?of?about?7?decimal?digits.?Even?Float64?values?are?stored?with?Float32?precision,?leading?to?potential?precision?loss?upon?retrieval.\n-?Float16?and?BFloat16?vectors:?Offer?reduced?precision?and?memory?usage.?Float16?is?suitable?for?applications?with?limited?bandwidth?and?storage,?while?BFloat16?balances?range?and?efficiency,?commonly?used?in?deep?learning?to?reduce?computational?requirements?without?significantly?impacting?accuracy.\n\n###",0.6115777492523193]
]

2.3.2 使用LLM獲取RAG響應(yīng)

將檢索到的文檔轉(zhuǎn)換為字符串格式。

context?=?"\n".join([line_with_distance[0]?for?line_with_distance?in?retrieved_lines_with_distances]
)

為L(zhǎng)LM定義系統(tǒng)和用戶提示。這個(gè)提示是由從Milvus檢索到的文檔組裝而成的。

SYSTEM_PROMPT?=?"""
Human:?You?are?an?AI?assistant.?You?are?able?to?find?answers?to?the?questions?from?the?contextual?passage?snippets?provided.
"""
USER_PROMPT?=?f"""
Use?the?following?pieces?of?information?enclosed?in?<context>?tags?to?provide?an?answer?to?the?question?enclosed?in?<question>?tags.
<context>
{context}
</context>
<question>
{question}
</question>
"""

使用DeepSeek提供的deepseek-chat模型根據(jù)提示生成響應(yīng)。

response?=?deepseek_client.chat.completions.create(model="deepseek-chat",messages=[{"role":?"system",?"content":?SYSTEM_PROMPT},{"role":?"user",?"content":?USER_PROMPT},],
)
print(response.choices[0].message.content)

In?Milvus,?data?is?stored?in?two?main?categories:?inserted?data?and?metadata.1.?**Inserted?Data**:?This?includes?vector?data,?scalar?data,?and?collection-specific?schema.?The?inserted?data?is?stored?in?persistent?storage?as?incremental?logs.?Milvus?supports?various?object?storage?backends?for?this?purpose,?such?as?MinIO,?AWS?S3,?Google?Cloud?Storage?(GCS),?Azure?Blob?Storage,?Alibaba?Cloud?OSS,?and?Tencent?Cloud?Object?Storage?(COS).2.?**Metadata**:?Metadata?is?generated?within?Milvus?and?is?specific?to?each?Milvus?module.?This?metadata?is?stored?in?etcd,?a?distributed?key-value?store.Additionally,?when?data?is?inserted,?it?is?first?loaded?into?a?message?queue,?and?Milvus?returns?success?at?this?stage.?The?data?is?then?written?to?persistent?storage?as?incremental?logs?by?the?data?node.?If?the?`flush()`?function?is?called,?the?data?node?is?forced?to?write?all?data?in?the?message?queue?to?persistent?storage?immediately.

太好了！現(xiàn)在我們已經(jīng)成功使用Milvus和DeepSeek構(gòu)建了一個(gè)RAG pipeline。

作者介紹

王翔宇

Zilliz 算法工程師

推薦閱讀