? ? ? ?結(jié)合上一篇文章，本篇文章主要講述在Redhat linux環(huán)境下如何部署和使用DeepSeek大模型，主要包括ollama的安裝配置、大模型的加載和應(yīng)用測試。關(guān)于Open WebUI在docker的安裝部署，Open WebUI官網(wǎng)也提供了完整的docker部署說明，大家可參考github，但對于Open WebUI前后端分離的部署沒有詳細(xì)說明，這需要修改一部分前后端代碼，后面會(huì)陸續(xù)分享給大家。

ollama安裝部署

一、ollama下載解壓

下載ollama-linux-amd64.tgz，地址詳見ollama官網(wǎng)，注意要下載低一些的版本，比如ollama-0.3.6版本。
解壓：tar -zxvf ollama-linux-amd64.tgz
拷貝文件：cp ollama /usr/local/bin

二、ollama服務(wù)啟動(dòng)配置

創(chuàng)建Ollama用戶：sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
如果有該用戶，就不需要?jiǎng)?chuàng)建，或者直接改為超級用戶進(jìn)行啟動(dòng)。
打開配置文件：vi /etc/systemd/system/ollama.service，修改內(nèi)容如下：

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin"
Environment="OLLAMA_HOST=0.0.0.0:11434" #允許外部訪問
Environment="OLLAMA_MODELS=/data/olla-models" # 指定模型文件存儲路徑
Environment="HTTP_PROXY=http://user:pwd@ip:port" #配置訪問外網(wǎng)的代理，如果需要才配置該選項(xiàng)
Environment="CUDA_VISIBLE_DEVICES=0,1" # 配置GPU，序號從01開始[Install]
WantedBy=default.target

執(zhí)行如下命令進(jìn)行服務(wù)啟用和狀態(tài)查看等
systemctl daemon-reload
systemctl enable ollama
systemctl start?ollama
systemctl status?ollama

三、ollama命令行啟動(dòng)配置

如果不使用第二步的ollama服務(wù)啟動(dòng)方式，也可以通過命令行啟動(dòng)，但部分配置需要通過用環(huán)境變量傳入，如下。

export OLLAMA_MODELS=/data/Ollama/models
export OLLAMA_GPU_LAYER=cuda
export CUDA_VISIBLE_DEVICES=0  # 強(qiáng)制使用NVIDIA GPU 第一塊

命令行啟動(dòng)ollama服務(wù)，如下
ollama serve

四、卸載或停止ollama服務(wù)

systemctl stop ollama
systemctl disable ollama

刪除服務(wù)文件和Ollama二進(jìn)制文件進(jìn)行服務(wù)停止

sudo rm /etc/systemd/system/ollama.service 
sudo rm $(which ollama)

清理Ollama用戶和組（如果前面沒有創(chuàng)建，可不做）：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

DeepSeek大模型加載運(yùn)行與應(yīng)用測試

一、下載模型

下載并運(yùn)行模型：ollama run deepseek-r1:7b
加載模型：ollama pull deepseek-r1:7b
配置代理：如果內(nèi)網(wǎng)需要通過代理訪問，請?jiān)诘诙脚渲梦募性黾哟碓O(shè)置。

二、刪除模型

刪除指定模型：ollama rm deepseek-r1:7b

三、查看已安裝模型列表

查看列表：ollama list

四、利用GPU加載模型

運(yùn)行命令：ollama run --gpu deepseek-r1:7b ，經(jīng)測試，需要降低ollama版本，調(diào)整為ollama0.3.6即可使用gpu卡。
使用環(huán)境變量設(shè)置：
export OLLAMA_MODELS=/data/olla-models
目前生效的參數(shù)是在第二步設(shè)置的Environment變量。詳見前一節(jié)的第二步。

經(jīng)過前面的成功部署和運(yùn)行，結(jié)合客戶端應(yīng)用（如Open WebUI、CherryStudio等）配置該運(yùn)行服務(wù)到OLLAMA_BASE_URL，即可進(jìn)行應(yīng)用測試，具體如下。