1.Ollama

????????Ollama 是一個開源的大型語言模型（LLM）平臺，旨在讓用戶能夠輕松地在本地運行、管理和與大型語言模型進行交互。

????????Ollama 提供了一個簡單的方式來加載和使用各種預訓練的語言模型，支持文本生成、翻譯、代碼編寫、問答等多種自然語言處理任務。

????????Ollama 的特點在于它不僅僅提供了現(xiàn)成的模型和工具集，還提供了方便的界面和 API，使得從文本生成、對話系統(tǒng)到語義分析等任務都能快速實現(xiàn)。

????????與其他 NLP 框架不同，Ollama 旨在簡化用戶的工作流程，使得機器學習不再是只有深度技術背景的開發(fā)者才能觸及的領域。

????????Ollama 支持多種硬件加速選項，包括純 CPU 推理和各類底層計算架構（如 Apple Silicon），能夠更好地利用不同類型的硬件資源。

Ollama 簡介 | 菜鳥教程https://www.runoob.com/ollama/ollama-intro.html

2.Ollama下載

Ollama下載 - 官方正版 - 極客應用Ollama可以部署開箱即用的Ai大模型，省去安裝環(huán)境和下載模型的步驟，讓零基礎的人也能在本地啟動并運行 DeepSeek-R1，Llama 3.3，Gemma 2等AI大模型https://www.gy328.com/app/ollama/根據(jù)系統(tǒng)選擇下載對應的Ollama版本

3.cmd模型基本操作

?檢測是否安裝

ollama --version

啟動下載對應模型

ollama run llama3.2

選擇模型應注意：7B模型至少8GB內存，13B模型需要16GB

?退出模型

/bye

?

具體對應操作查看菜鳥教程

Ollama 基本概念 | 菜鳥教程https://www.runoob.com/ollama/ollama-basic.html參考博客

Ollama保姆級教程_ollama ps-CSDN博客文章瀏覽閱讀5.7k次，點贊28次，收藏39次。Ollama能夠更容易的讓大模型在本地運行起來，沒錯，是運行起來，至于交互就差點意思了。總不能總是銅鼓命令行來交互吧，這樣也太不優(yōu)雅了！實際上Ollama主要是用來提供服務的，也就是作為服務端，但是可以通過配合其他的UI界面來更方便的使用大模型，例如Open WebUI等。Ollama官網(wǎng)：https://ollama.com/downloadOllama文檔：https://github.com/ollama/ollama/tree/main/docs。_ollama pshttps://blog.csdn.net/andyyah/article/details/140891679?fromshare=blogdetail&sharetype=blogdetail&sharerId=140891679&sharerefer=PC&sharesource=2301_76671906&sharefrom=from_link

4.Ollama javascript接入

4.1 前端項目中引入Ollama依賴包(sdk)

npm i ollama

4.2 vue2中安裝axios庫

????????使用axios庫來發(fā)送HTTP請求到Ollama的API。

npm install axios

4.3 api.js調用模型Api

import axios from 'axios';const API_URL = 'http://localhost:11434'; // Ollama默認的API端口是11434export const generateText = async (prompt) => {try {const response = await axios.post(`${API_URL}/api/generate`, {model: 'mistral', // 指定模型prompt: prompt,   // 輸入的提示文本stream: true,     // 流式傳輸結果（可選）});if (response.data) {return response.data;} else {throw new Error('No data received');}} catch (error) {console.error('Error generating text:', error);throw error;}
};

4.4 組件中使用服務

調用服務生成文本結果

<template><div><textarea v-model="prompt" placeholder="Enter your prompt"></textarea><button @click="generateText">Generate</button><div v-if="generatedText">{{ generatedText }}</div></div>
</template><script>
import { generateText } from './api'; // 引入你的API服務文件export default {data() {return {prompt: '',generatedText: ''};},methods: {async generateText() {try {const response = await generateText(this.prompt);this.generatedText = response; // 直接處理響應或根據(jù)需要解析響應數(shù)據(jù)流等邏輯（取決于API的實現(xiàn)）} catch (error) {console.error('Error generating text:', error);}}}
};
</script>

?運行項目與模型，注意node版本對應。

API 參考文檔 -- Ollama 中文文檔|Ollama官方文檔https://ollama.cadn.net.cn/api.html

5.node版本不匹配請使用nvm管理版本?

node-nvm node版本管理器使用-CSDN博客node-nvm node版本管理器使用https://blog.csdn.net/2301_76671906/article/details/146038866?fromshare=blogdetail&sharetype=blogdetail&sharerId=146038866&sharerefer=PC&sharesource=2301_76671906&sharefrom=from_link