DeepSeek 這真的是太驚艷了，發(fā)布出來的模型這么能打，在線的版本使用起來也是絲滑連招，感覺效果比起之前一直用智譜 chatglm4 更好用，想著本地化部署一下。
本來以為，會和之前在開發(fā)測試 transformers 的模型和代碼一樣，需要自己去配置寫 langchain 和 streamlit 的，但是看下來，實(shí)際上最簡單并且家用的方法。
可以直接 Windows 裝 Ollama ，Docker 化部署 OpenWebUI，就能夠本地局域網(wǎng)使用了，于是開始配置部署，并進(jìn)行下記錄。
這份記錄可能會隨著本地配置的內(nèi)容，調(diào)整一些細(xì)節(jié)，供各位看官參考。

CUDA

好久沒有用自己的臺式機(jī)顯卡去做一些開發(fā)了，之前還是在用的CUDA11.0，擔(dān)心是不是需要升級下，配合新的系統(tǒng)，所以直接下了12.6的CUDA包，安裝并清理了歷史CUDA環(huán)境

Ollama

ollama官網(wǎng)下載，window基本上是傻瓜式的
默認(rèn)安裝完了，在 C:\Users{your_user_name}\AppData\Local\Programs\Ollama下面，磁盤不夠可以拷貝到其他盤，然后鏈接回來

mklink /D "C:\Users\{your_user_name}\AppData\Local\Programs\Ollama" "D:\software\Ollama"

打開一個命令窗口，輸入ollama能看到幫助命令使用方式

我本地有一個2080TI的卡，Deepseek能跑到14b的模型

命令行輸入

第一次開始時，會先去下載14b模型，稍微會慢一些

C盤空間不夠，可以遷移走模型到其他盤，然后還是使用 mklink /D "C:\Users\{your_user_name}\.ollama" "{new_model_dir}"

這種啟動下的 Ollama 對應(yīng)的模型，會被加載到內(nèi)存或者GPU中，退出后一定時間會自動回收資源，有自身的管理機(jī)制，這塊可以再探索下；
這種命令行的交互方式肯定不是很爽，家庭用又沒有可能無時無刻不命令窗進(jìn)行，所以往下去部署 OpenWebUI

Docker Desktop

部署 OpenWebUI 有不少方法，有本地編譯，python服務(wù)，容器化等，我這里用的是 docker 容器化的方法
需要先在 windows 中安裝上 docker 環(huán)境
在 Docker Desktop 文檔中去下載

下載完了 Docker Desktop Installer.exe 后，一路傻瓜式安裝過去就行，最后啟動的時候，可能會有各種問題，建議在網(wǎng)上找下資料確認(rèn)下
我這里走的是把 wsl 升級到 wsl2 的路徑，然后默認(rèn)啟動方式啟動的

wsl --set-default-version 2
wsl --set-version Ubuntu-24.04 2

啟動完成后，可以到命令行中，拉去 OpenWebUI 的鏡像了

OpenWebUI

這個鏡像，官網(wǎng)的文檔在 github OpenWebUI 上面
明確的指出了，對于 Ollama 安裝在本機(jī)時，用

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

這個命令啟動就夠了
Ollama 和 OpenWebUI 靠的是 add host 關(guān)聯(lián)的，在 OpenWebUI 的管理界面我們能看到相應(yīng)的 Ollama 關(guān)聯(lián)地址（如果你沒有配置，你也可以手動去調(diào)整）

這里我順手把 OpenAI API 關(guān)掉了，在其他所有內(nèi)容都靠科學(xué)上網(wǎng)解決后，這里關(guān)掉 CloseAI 的 API，免得它還去調(diào)用

這樣下來，我們想到于有了個管理用戶，用戶歷史對話，模型權(quán)限等等的前后臺服務(wù)界面，還能夠基于自建的知識庫去查詢，省事了，就是不知道里面調(diào)整一些內(nèi)容麻不麻煩（如聯(lián)網(wǎng)查詢等，TODO）

這之下，我們就能在家里面，基于本地部署的地址，去在同一個局域網(wǎng)（如同一WIFI）中，從各種終端的 Web 進(jìn)入，本地化使用了

test 統(tǒng)信

這個純粹試一下玩玩
找了臺統(tǒng)信的電腦試了一下（4核32G），類似的本地已經(jīng)預(yù)先安裝了docker環(huán)境

就用了上面兩個鏡像
先啟動 ollama

docker run -d -v /home/lenovo/volumes/ollama:/root/.ollama -p 11434:11434 --name ollama alpine/ollama

啟動好了之后，進(jìn)入容器，去執(zhí)行 ollama run deepseek-r1:1.5b

這里我先預(yù)先下載了模型了
然后啟動 open-webui

docker run -d -p 13000:8080 -v /home/lenovo/volumes/openwebui:/app/backend/data --name open-webui  ghcr.io/open-webui/open-webui:main

這里映射到了13000上，查看對應(yīng)容器的ip

可以登錄 172.17.0.6:13000，初始化 admin 用戶了
初始化完之后，上右上角點(diǎn)用戶頭像，進(jìn)入管理員面板，配置下ollama 的連接（這里沒固定ollama的docker ip，感興趣可以去嘗試下）

按照實(shí)際ip情況改一下ollama的連接
這樣就能夠看到模型了
直接CPU推理總體的性能不是很好，一個簡單的推理耗時了7分鐘