1.Ollama

????????Ollama 是一個(gè)開源的大型語言模型（LLM）平臺(tái)，旨在讓用戶能夠輕松地在本地運(yùn)行、管理和與大型語言模型進(jìn)行交互。

????????Ollama 提供了一個(gè)簡(jiǎn)單的方式來加載和使用各種預(yù)訓(xùn)練的語言模型，支持文本生成、翻譯、代碼編寫、問答等多種自然語言處理任務(wù)。

????????Ollama 的特點(diǎn)在于它不僅僅提供了現(xiàn)成的模型和工具集，還提供了方便的界面和 API，使得從文本生成、對(duì)話系統(tǒng)到語義分析等任務(wù)都能快速實(shí)現(xiàn)。

????????與其他 NLP 框架不同，Ollama 旨在簡(jiǎn)化用戶的工作流程，使得機(jī)器學(xué)習(xí)不再是只有深度技術(shù)背景的開發(fā)者才能觸及的領(lǐng)域。

????????Ollama 支持多種硬件加速選項(xiàng)，包括純 CPU 推理和各類底層計(jì)算架構(gòu)（如 Apple Silicon），能夠更好地利用不同類型的硬件資源。

Ollama 簡(jiǎn)介 | 菜鳥教程https://www.runoob.com/ollama/ollama-intro.html

2.Ollama下載

Ollama下載 - 官方正版 - 極客應(yīng)用Ollama可以部署開箱即用的Ai大模型，省去安裝環(huán)境和下載模型的步驟，讓零基礎(chǔ)的人也能在本地啟動(dòng)并運(yùn)行 DeepSeek-R1，Llama 3.3，Gemma 2等AI大模型https://www.gy328.com/app/ollama/根據(jù)系統(tǒng)選擇下載對(duì)應(yīng)的Ollama版本

3.cmd模型基本操作

?檢測(cè)是否安裝

ollama --version

啟動(dòng)下載對(duì)應(yīng)模型

ollama run llama3.2

選擇模型應(yīng)注意：7B模型至少8GB內(nèi)存，13B模型需要16GB

?退出模型

/bye

?

具體對(duì)應(yīng)操作查看菜鳥教程

Ollama 基本概念 | 菜鳥教程https://www.runoob.com/ollama/ollama-basic.html參考博客

Ollama保姆級(jí)教程_ollama ps-CSDN博客文章瀏覽閱讀5.7k次，點(diǎn)贊28次，收藏39次。Ollama能夠更容易的讓大模型在本地運(yùn)行起來，沒錯(cuò)，是運(yùn)行起來，至于交互就差點(diǎn)意思了?？偛荒芸偸倾~鼓命令行來交互吧，這樣也太不優(yōu)雅了！實(shí)際上Ollama主要是用來提供服務(wù)的，也就是作為服務(wù)端，但是可以通過配合其他的UI界面來更方便的使用大模型，例如Open WebUI等。Ollama官網(wǎng)：https://ollama.com/downloadOllama文檔：https://github.com/ollama/ollama/tree/main/docs。_ollama pshttps://blog.csdn.net/andyyah/article/details/140891679?fromshare=blogdetail&sharetype=blogdetail&sharerId=140891679&sharerefer=PC&sharesource=2301_76671906&sharefrom=from_link

4.Ollama javascript接入

4.1 前端項(xiàng)目中引入Ollama依賴包(sdk)

npm i ollama

4.2 vue2中安裝axios庫

????????使用axios庫來發(fā)送HTTP請(qǐng)求到Ollama的API。

npm install axios

4.3 api.js調(diào)用模型Api

import axios from 'axios';const API_URL = 'http://localhost:11434'; // Ollama默認(rèn)的API端口是11434export const generateText = async (prompt) => {try {const response = await axios.post(`${API_URL}/api/generate`, {model: 'mistral', // 指定模型prompt: prompt,   // 輸入的提示文本stream: true,     // 流式傳輸結(jié)果（可選）});if (response.data) {return response.data;} else {throw new Error('No data received');}} catch (error) {console.error('Error generating text:', error);throw error;}
};

4.4 組件中使用服務(wù)

調(diào)用服務(wù)生成文本結(jié)果

<template><div><textarea v-model="prompt" placeholder="Enter your prompt"></textarea><button @click="generateText">Generate</button><div v-if="generatedText">{{ generatedText }}</div></div>
</template><script>
import { generateText } from './api'; // 引入你的API服務(wù)文件export default {data() {return {prompt: '',generatedText: ''};},methods: {async generateText() {try {const response = await generateText(this.prompt);this.generatedText = response; // 直接處理響應(yīng)或根據(jù)需要解析響應(yīng)數(shù)據(jù)流等邏輯（取決于API的實(shí)現(xiàn)）} catch (error) {console.error('Error generating text:', error);}}}
};
</script>

?運(yùn)行項(xiàng)目與模型，注意node版本對(duì)應(yīng)。

API 參考文檔 -- Ollama 中文文檔|Ollama官方文檔https://ollama.cadn.net.cn/api.html

5.node版本不匹配請(qǐng)使用nvm管理版本?

node-nvm node版本管理器使用-CSDN博客node-nvm node版本管理器使用https://blog.csdn.net/2301_76671906/article/details/146038866?fromshare=blogdetail&sharetype=blogdetail&sharerId=146038866&sharerefer=PC&sharesource=2301_76671906&sharefrom=from_link