什么是Ollama？它與大模型有什么聯(lián)系？

簡單說，Ollama就像是你電腦上的一個 “大模型小助手”。

以前，很多強(qiáng)大的大語言模型，比如能回答各種問題、寫文章、翻譯等的那些模型，要么只能在網(wǎng)上的服務(wù)器上用，數(shù)據(jù)發(fā)過去存在隱私風(fēng)險；要么就是運(yùn)行起來特別復(fù)雜，對電腦要求很高，普通人很難自己在電腦上用。

而 Ollama 出現(xiàn)后，它能讓你在自己的電腦上比較輕松地運(yùn)行很多不同的大語言模型。就好比你有一個模型倉庫，里面放著像 LLaMA、Mistral 這些大模型，只要你電腦性能允許，通過 Ollama 這個工具，你就能把這些模型 “召喚” 出來，讓它們在你的電腦上干活，比如幫你寫文案、陪你聊天等。

所以，Ollama 和大模型的關(guān)系就是，Ollama 是一個能讓大模型在本地電腦更方便運(yùn)行的工具平臺，它給大模型提供了在本地運(yùn)行的 “土壤”，讓人們可以更自由、更安全地使用大模型，而不用完全依賴網(wǎng)絡(luò)上的服務(wù)。

安裝ollama

聊起來

實測deepseek 1.5b有點(diǎn)智障了 還是7B起。

構(gòu)建對答UI窗口

可安裝open-webui或Chatbox。

open-webui鏈接：
https://github.com/open-webui/open-webui

如果Ollama在您的計算機(jī)上，請使用以下命令：
命令：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama在另一個服務(wù)器上，請使用以下命令：

要連接到其他服務(wù)器上的Ollama，請將OLLAMA_BASE_URL更改為服務(wù)器的URL：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要運(yùn)行支持Nvidia GPU的Open WebUI，請使用以下命令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

如果只使用OpenAI API，請使用以下命令：

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安裝好后效果：

**安裝ChatBox，**鏈接：
ChaBox