做自己的購物網(wǎng)站網(wǎng)站推廣要點(diǎn)
前置工作
課程文檔:Llama3-Tutorial/docs/hello_world.md at main · SmartFlowAI/Llama3-Tutorial · GitHub
1.安裝vscode
2.安裝vscode插件
- Remote SSH
3.配置 VSCode 遠(yuǎn)程連接開發(fā)機(jī)
- ssh連接開發(fā)機(jī)
- 進(jìn)行端口映射
在開發(fā)機(jī)控制臺(tái)中點(diǎn)擊自定義服務(wù),復(fù)制命令粘貼到本機(jī)的 powershell 中
一.本地 Web Demo 部署
1.環(huán)境配置
conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
2.模型下載
mkdir -p ~/model
cd ~/model
安裝 git-lfs 依賴
# 如果下面命令報(bào)錯(cuò)則使用 apt install git git-lfs -y
conda install git-lfs
git-lfs install
InternStudio軟連接
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct
3.Web Demo 部署
下載 Llama3-Tutorial
cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial
安裝 XTuner
cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .
運(yùn)行 web_demo.py
cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .