前置工作

課程文檔：Llama3-Tutorial/docs/hello_world.md at main · SmartFlowAI/Llama3-Tutorial · GitHub

1.安裝vscode

2.安裝vscode插件

• Remote SSH

3.配置 VSCode 遠(yuǎn)程連接開發(fā)機(jī)

• ssh連接開發(fā)機(jī)

• 進(jìn)行端口映射
  在開發(fā)機(jī)控制臺(tái)中點(diǎn)擊自定義服務(wù)，復(fù)制命令粘貼到本機(jī)的 powershell 中
  

一.本地 Web Demo 部署

1.環(huán)境配置

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

2.模型下載

mkdir -p ~/model
cd ~/model

安裝 git-lfs 依賴

# 如果下面命令報(bào)錯(cuò)則使用 apt install git git-lfs -y
conda install git-lfs
git-lfs install

InternStudio軟連接

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

3.Web Demo 部署

下載 Llama3-Tutorial

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

安裝 XTuner

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

運(yùn)行 web_demo.py

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .