1 Llama微調

在基礎模型的基礎上，通過一些特定的數據集，將具有特定功能加在原有的模型上。

1.1 效果對比

• 特定數據集
  
• 未使用微調的基礎模型的回答
  
• 使用微調后的回答
  

1.2 基礎模型

基礎大模型我選擇Mistral-7B-v0.3-Chinese-Chat-uncensored，
模型文件可以在HuggingFace 模型

1.3 選擇數據集

微調大模型要想獲得比較好的效果，擁有高質量的數據集是關鍵?？梢赃x擇用網上開源的，或者是自己制作。以中文數據集弱智吧為例，約1500條對話數據，數據集可以從HuggingFace 數據集

1.4 訓練lora模型并與基礎模型進行合并

新建一個merge.py文件，將基礎模型和lora模型合并為一個新的模型文件

執(zhí)行merge.py，需要傳入的參數（改成自己的）：
--base_model
基礎模型路徑
--lora_model
微調的lora模型路徑
--output_dir
合并后模型的輸出路徑

1.5 量化模型

利用llama.cpp進行量化模型.

• 1.安裝CMAKE下載llama.cpp源碼
  git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
• 2.安裝依賴
  pip install -r requirements/requirements-convert-hf-to-gguf.txt
cmake -B build
cmake --build build --config Release
• 3.執(zhí)行轉換腳本，將safetensors轉換為gguf文件，便于量化
  convert-hf-to-gguf.py 合并后模型的位置 --outtype f16 --outfile 轉換后模型的位置my_llama3.gguf
• 4.對轉后的文件進行量化操作。
  llama.cpp所在位置\llama.cpp\build\bin\Release quantize.exe 轉換后模型的路徑 量化后模型的位置quantized_model.gguf q4_0

至此，llama微調后的模型操作完畢，可以直接使用。

2.Ollama部署

Ollama安裝地址

2.1 部署現(xiàn)有的模型

打開Ollama，找到目錄中現(xiàn)有的模型，使用ollama run llama3.2，來使用現(xiàn)有模型。

2.2 使用微調模型

• 1.在上述已量化好的模型quantized_model.gguf的目錄中新建Modelfile文件

FROM 量化好的模型路徑
TEMPLATE "[INST] {{ .Prompt }} [/INST]"

• 2.使用微調模型

# ollama create 模型名字 -f Modelfile文件路徑
ollama create panda -f  test.Modelfile