網(wǎng)站做cdn百度網(wǎng)頁版入口
通過深度學(xué)習(xí)入門到放棄系列 - 魔搭社區(qū)完成開源大模型部署調(diào)用 ，大概掌握了開源模型的部署調(diào)用，但是魔搭社區(qū)有一個弊端，關(guān)閉實例后數(shù)據(jù)基本上就丟了，本地的電腦無法滿足大模型的配置，就需要去租用一些高性價比的GPU機(jī)器長期運行，起碼數(shù)據(jù)和環(huán)境能長期存在。以我在阿里云人工智能平臺 PAI部署和大家分享一下經(jīng)驗，其他平臺自行嘗試、選擇。
免費算力平臺
- 阿里云人工智能平臺 PAI
- 阿里天池實驗室
- Kaggle平臺
- Colab（需要梯子）
付費算力平臺
- AutoDL
- Gpushare Cloud
- Featurize
- AnyGPU
阿里云人工智能平臺 PAI試用申請流程
我選擇的是阿里云人工智能平臺 PAI平臺的免費算力平臺，免費使用三個月，截止目前還很好搶，每天500份傳送門。同時，也推薦一些其他的算力平臺給大家自行選擇。
建議選交互式建模PAI-DSW
立即試用！
創(chuàng)建規(guī)格的時候千萬注意選擇GPU-支持資源包抵扣的這種。
創(chuàng)建實例！
啟動實例！
打開后界面和魔搭社區(qū)就比較類似了，有命令行、Notebook等。
環(huán)境搭建
- 新建賬號：進(jìn)來就已經(jīng)是root賬戶了，需要創(chuàng)建一個用戶。
# 添加一個新用戶（如用戶名為csdn）遇到執(zhí)行
adduser csdn
# 將用戶添加到 sudo 組
adduser csdn sudo
- 進(jìn)來以后發(fā)現(xiàn)ll、source等命令都不能用，需要先把dash改成bash命令，參考source: not found問題處理。解決完重新打開命令行以后就是我現(xiàn)在的界面。
- 更換國內(nèi)軟件源
cd /ect/apt# 備份sources.list，以免出問題
sudo cp sources.list sources.list.backupvim sources.list# 復(fù)制到sources.list文件末尾
deb https://mirrors.ustc.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-security main restricted universe multiverse- 安裝vim編輯器、git
# 使用vi可跳過
sudo apt-get install vimsudo apt-get install git
- 系統(tǒng)軟件更新
# 更新軟件包列表
sudo apt update
# 執(zhí)行更新命令
sudo apt upgrade
- 安裝anaconda
# 下載安裝包
wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh
# 執(zhí)行安裝命令
bash Anaconda3-2023.09.0-Linux-x86_64.sh
直到出現(xiàn) yes no 選項，選擇yes，再然后遇到路徑/root/anaconda3,然后按“Enter”鍵使用Anaconda的默認(rèn)安裝位置/root/anaconda3下，然后等待安裝結(jié)束。
- 配置環(huán)境變量
# 印象中不創(chuàng)建賬號好像就沒有bashrc的文件
vim ~/.bashrc
# 末尾添加anaconda3所在路徑，和第六步路徑一致
export PATH=/root/anaconda3/bin:$PATH
# 使環(huán)境變量的修改立即生效
source ~/.bashrc
- 安裝之前需要配置一下conda，都說用國內(nèi)鏡像源，我試了沒用
# 我用的這種方法
conda install -n base conda-libmamba-solver
# 設(shè)置全局使用libmamba
conda config --set solver libmamba
- conda創(chuàng)建虛擬環(huán)境
conda create --n chatglm3_test python=3.11
conda activate chatglm3_test
# 如果中間報錯找不到activate命令，使用下面的命令試試
source /root/anaconda3/etc/profile.d/conda.sh
- 安裝pytorch等依賴
nvidia-msi查看目前的cuda版本來選擇對應(yīng)的pytorch
# CUDA 11.8 根據(jù)我自己的版本我選擇第一個就好了
conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=11.8 -c pytorch -c nvidia
# CUDA 12.1
conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=12.1 -c pytorch -c nvidia
# CPU Only
conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 cpuonly -c pytorch
- 驗證GPU版本的PyTorch
import torch
print(torch.cuda.is_available())
如下圖說明安裝成功。
12. 下載ChatGLM3項目文件
git下載ChatGLM3項目文件時可能會出現(xiàn)Permission denied，參考解決辦法 git報錯Permission denied的解決方法
# 創(chuàng)建文件夾
mkdir /opt/chatglm3
# 切換到新建的目錄下
cd /opt/chatglm3
# 下載ChatGLM3
git clone git@github.com:THUDM/ChatGLM3.git
# 升級pip版本
python -m pip install --upgrade pip
- 安裝ChatGLM運行的項目依賴
cd /opt/chatglm3/ChatGLM3
# 安裝依賴
pip install -r requirements.txt
- 安裝模型權(quán)重文件
Git Large File Storage（Git LFS）是一種用于處理大文件的工具，在 Hugging Face等平臺下載大模型時，通常需要安裝 Git LFS，主要的原因是：Git 本身并不擅長處理大型文件，因為在 Git 中，每次我們提交一個文件，它的完整內(nèi)容都會被保存在 Git 倉庫的歷史記錄中。但對于非常大的文件，這種方式會導(dǎo)致倉庫變得龐大而且低效。而 Git LFS， 就不會直接將它們的內(nèi)容存儲在倉庫中。相反，它存儲了一個輕量級的“指針”文件，它本身非常小，它包含了關(guān)于大型文件的信息（如其在服務(wù)器上的位置），但不包含文件的實際內(nèi)容。當(dāng)我們需要訪問或下載這個大型文件時，Git LFS 會根據(jù)這個指針去下載真正的文件內(nèi)容
實際的大文件存儲在一個單獨的服務(wù)器上，而不是在 Git 倉庫的歷史記錄中。所以如果不安裝 Git LFS 而直接從 Hugging Face 或其他支持 LFS 的倉庫下載大型文件，通常只會下載到一個包含指向?qū)嶋H文件的指針的小文件，而不是文件本身。
# 安裝git-lfs
sudo apt-get install git-lfs
# 初始化
git lfs install
# 魔搭平臺下載模型權(quán)重文件，Hugging Face太慢了
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
目錄結(jié)構(gòu)如下圖所示，chatglm3-6b目錄為模型權(quán)重文件
- 運行ChatGLM3-6B模型
運行前需要改一下模型權(quán)重文件的路徑，我們提前下載，改成本地的路徑，否則會重新下載。
在basic_demo目錄下運行cli_demo.py文件，能正常對話說明大功告成了！千萬注意要sudo運行哈！
遇到的問題
問題一：Ubuntu下shell執(zhí)行source命令報source: not found問題處理
問題二：conda: error: argument COMMAND: invalid choice: ‘a(chǎn)ctivate‘
問題三：git報錯Permission denied
問題四：conda下載文件慢