在AI技術(shù)快速發(fā)展的今天，開源大模型的本地化部署正在成為開發(fā)者們的熱門實踐方向。最火的莫過于吊打OpenAI過億成本的純國產(chǎn)DeepSeek開源大模型，就在剛剛，憑一己之力讓英偉達大跌18%，納斯達克大跌3.7%，足足是給中國AI產(chǎn)業(yè)揚眉吐氣了一回。

本文將手把手教大家如何利用DeepSeek-R1開源大模型，通過Ollama工具實現(xiàn)本地部署，并結(jié)合MaxKB搭建一個簡單的RAG（檢索增強生成）應用。

一、環(huán)境準備

在開始之前，請確保你的開發(fā)環(huán)境滿足以下要求：

操作系統(tǒng)：Windows/Mac/Linux
Python版本：3.8及以上
硬件要求：建議使用NVIDIA顯卡，至少16GB內(nèi)存
安裝工具：Git、Python3.9、pip、pytorch，實現(xiàn)請準備好CUDA驅(qū)動、pytorch的GPU版本

運行nvidia-smi命令可以查看CUDA版本
然后到https://developer.nvidia.com/cuda-toolkit-archive下載對應版本的CUDA Toolkit

接下來安裝cuDNN：https://developer.nvidia.com/rdp/cudnn-archive，找好對應CUDA版本的cuDNN

再接下來安裝pytorch，到官網(wǎng)https://pytorch.org/get-started/locally/

當環(huán)境準備妥當之后，進入python，輸入import torch，再輸入torch.cuda.is_available()回車，看看是不是True，如果不是，則說明安裝的版本不正確，比如驅(qū)動版本不對、CUDA版本不對、python版本不對、pytorch版本不對，特別要注意使用了國內(nèi)鏡像安裝pytorch的朋友，有可能默認命中的是cpu版本而不是gpu版本，必要時需要手動下載whl安裝包進行安裝。

如果還想要后續(xù)使用MaxKB作為界面的話，那么Windows還需要啟動Hyper-V并安裝Docker Desktop，Linux則安裝一套docker就可以，這里不再贅述。

二、Ollama本地部署DeepSeek-R1

Ollama是一個輕量級的AI模型運行框架，支持多種開源大模型的本地化部署。以下是部署deepseek-r1的具體步驟：

1. 安裝Ollama

打開終端，Linux輸入以下命令安裝Ollama：

curl -fsSL https://ollama.com/install.sh | sh

而Windows就相對更容易安裝一些，直接到官網(wǎng)下載即可

2. 下載并安裝DeepSeek-R1模型

使用Ollama拉取DeepSeek-R1模型，這里因為我用的是4090顯卡，顯存只有24G，所以最大能運行32b模型：

ollama run deepseek-r1:32b

如果下載速度較慢，可以嘗試使用鏡像源或代理加速。下載完成之后即可在命令行里進行問答。

其中的think標簽即它的深度思考過程

默認情況下，Ollama會在http://localhost:11434端口提供API服務，后面搭建MaxKB會用到。

三、使用MaxKB搭建RAG應用

MaxKB是一個專注于文檔問答的開源工具，支持與本地AI模型結(jié)合使用。以下是具體步驟：

1. 安裝MaxKB

如果你是使用Linux操作系統(tǒng)，則在有docker的情況下運行

docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

如果用的是Windows操作系統(tǒng)，則運行

docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

2. 配置DeepSeek-R1模型

用瀏覽器打開localhost:8080，按指示操作初始化管理員用戶名和密碼
然后到模型設(shè)置里手動填上deepseek-r1:32b模型

隨后我們創(chuàng)建一個應用

然后我們設(shè)置這個應用，把剛才添加的AI模型選中，點擊保存并發(fā)布

然后點擊演示按鈕，即可開始和deepseek-r1模型進行對話了

我們可以看到它在寫代碼方面非常出色

以下是它寫出來的代碼，效果還不錯：

<template><div class="container"><h1 class="title">商品列表</h1><a-row :gutter="24"><a-col v-for="item in products" :key="item.id" :xs="24" :sm="12" :md="8" :lg="6" :xl="6"><a-card class="product-card" hoverable><template #cover><div class="image-wrapper"><a-image v-if="item.picture" :src="item.picture" alt="商品圖片" /></div></template><div class="card-content"><h3 class="product-name">{{ item.name }}</h3><p class="product-description">{{ item.description }}</p><div class="price-section"><span class="price">￥{{ item.price }}</span></div><div class="action-buttons"><a-button type="primary" style="background-color: #ff6600; border-color: #ff6600;">查看詳情</a-button><a-button style="margin-left: 8px; background-color: white; color: #ff6600; border-color: #ff6600;">加入購物車</a-button></div></div></a-card></a-col></a-row></div>
</template><script>
import { defineComponent } from 'vue';
import { Row, Col, Card, Image, Button } from 'ant-design-vue';export default defineComponent({components: {ARow: Row,ACol: Col,ACard: Card,AImage: Image,AButton: Button},data() {return {products: [{id: 1,name: '商品名稱1',price: 99.99,picture: 'https://via.placeholder.com/200x200',description: '這是一個商品的簡要描述，展示商品的基本信息。'},// 其他商品數(shù)據(jù)...]};}
});
</script><style scoped>
.container {padding: 24px;background-color: #f5f5f5;
}.title {margin-bottom: 24px;color: #333;font-size: 28px;text-align: center;
}.product-card {background-color: white;border-radius: 8px;transition: transform 0.2s;margin-bottom: 24px;
}.product-card:hover {transform: translateY(-5px);
}.image-wrapper {height: 200px;overflow: hidden;border-radius: 8px 8px 0 0;
}a-image {width: 100%;height: 100%;object-fit: cover;
}.card-content {padding: 16px;
}.product-name {margin: 0 0 12px 0;color: #333;font-size: 18px;
}.product-description {color: #666;font-size: 14px;line-height: 1.5;margin-bottom: 16px;
}.price-section {margin-bottom: 16px;
}.price {color: #ff6600;font-size: 20px;font-weight: bold;
}.action-buttons {display: flex;gap: 8px;justify-content: space-between;align-items: center;
}
</style>

那么它生成這么多token，耗時是多少呢？后臺可以看到的

按這么算，生成速度是95tokens每秒，這么棒的效果只需要一塊不到2萬的4090D，簡直不敢相信，相當于2萬給自己找了一個會深度思考的助手，而且不是月薪，是妥妥的買斷。

四、實戰(zhàn)：構(gòu)建一個簡單的RAG應用

將需要問答的文檔上傳到MaxKB的知識庫中。支持的文件格式包括PDF、Word、PPT等。

然后建議你上傳markdown文檔作為知識庫，解析效率比較好，上傳完成后可以批量進行向量化并生成問題。

在設(shè)置應用的時候勾選關(guān)聯(lián)知識庫即可在回答前搜索知識庫。

五、總結(jié)

通過本文的實踐，我們成功地將DeepSeek-R1模型部署到本地，并結(jié)合MaxKB搭建了一個簡單的RAG應用。這種方式不僅節(jié)省了云服務的成本，還能夠更好地控制數(shù)據(jù)隱私和模型性能，隨時都可以對模型的回答進行RAG知識庫的微調(diào)。如果你對AI技術(shù)感興趣，不妨可以嘗試一下。