LangChain-ChatGLM在WIndows10下的部署

參考資料

1、LangChain + ChatGLM2-6B 搭建個(gè)人專屬知識(shí)庫(kù)中的LangChain + ChatGLM2-6B 構(gòu)建知識(shí)庫(kù)這一節(jié)：基本的邏輯和步驟是對(duì)的，但要根據(jù)Windows和現(xiàn)狀做很多調(diào)整。

2、沒(méi)有動(dòng)過(guò)model_config.py中的“LORA_MODEL_PATH_BAICHUAN”這一項(xiàng)內(nèi)容，卻報(bào)錯(cuò)：對(duì)報(bào)錯(cuò)“LORA_MODEL_PATH_BAICHUAN”提供了重要解決思路，雖然還不是完全按文中的方式解決的。

3、[已解決ERROR: Could not install packages due to an OSError: [WinError 5] 拒絕訪問(wèn)。: ‘e:\anaconda\install_r])(https://blog.csdn.net/yuan2019035055/article/details/127078460)

解決方案

一、下載源碼

采用git clone方式一直不成功，建議直接到github上搜索langchain-chatglm，在https://github.com/chatchat-space/langchain-ChatGLM頁(yè)面，點(diǎn)擊“CODE”->點(diǎn)擊“Download ZIP”，直接下載源碼，然后將文件夾改為名LangChain-ChatGLM，放到D:\_ChatGPT\langchain-chatglm_test目錄下：

二、安裝依賴

1、進(jìn)入Anaconda Powershell Prompt

2、進(jìn)入虛擬環(huán)境

conda activate langchain-chatglm_test

3、進(jìn)入目錄

cd D:\_ChatGPT\langchain-chatglm_test\langchain-ChatGLM

4、安裝依賴

pip install -r requirements.txt --user     
pip install peft
pip install timm
pip install scikit-image
pip install torch==1.13.1+cu116 torchvision torchaudio  -f  https://download.pytorch.org/whl/cu116/torch_stable.html

三、下載模型

3.1、下載chatglm2-6b模型

1、進(jìn)入Anaconda Powershell Prompt

2、創(chuàng)建保存chatglm2-6b的huggingface模型的公共目錄。之所以創(chuàng)建一個(gè)公共目錄，是因?yàn)檫@個(gè)模型文件是可以被各種應(yīng)用共用的。注意創(chuàng)建目錄所在磁盤(pán)至少要有30GB的空間，因?yàn)閏hatglm2-6b的模型文件至少有23GB大小。并進(jìn)入該目錄

mkdir -p D:\_ChatGPT\_common
cd D:\_ChatGPT\_common

3、安裝 git lfs

git lfs install

4、在這里下載chatglm2-6b的huggingface模型文件。

git clone https://huggingface.co/THUDM/chatglm2-6b

5、下載完成后，將模型文件的目錄名改為chatglm2-6b，因?yàn)閃indows下目錄如果有減號(hào)，后續(xù)應(yīng)用處理會(huì)出錯(cuò)。

6、如果之前已下載該模型，則不必重復(fù)下載。

3.2、下載text2vec模型

1、進(jìn)入Anaconda Powershell Prompt，進(jìn)入公共目錄

cd D:\_ChatGPT\_common

2、安裝 git lfs

git lfs install

3、在這里下載text2vec的huggingface模型文件。

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

4、下載完成后，將目錄改為text2vev，因?yàn)閃indows下目錄如果有減號(hào)，后續(xù)應(yīng)用處理會(huì)出錯(cuò)。

四、參數(shù)調(diào)整

4.1、model_config.py文件

1、進(jìn)入configs目錄，修改其下的model_config.py文件，
對(duì)embedding_model_dict的參數(shù)

embedding_model_dict = {..."text2vec": r"D:\_ChatGPT\_common\text2vec",...
}

修改llm_model_dict參數(shù)。

llm_model_dict = {..."chatglm-6b": {..."pretrained_model_name": r"D:\_ChatGPT\_common\chatglm2_6b","...},...
}

將LLM_MODEL的值做修改：

LLM_MODEL = "chatglm2-6b"

4.2、loader.py文件

1、進(jìn)入modes\loader目錄，修改loader.py文件

2、在if LORA_MODEL_PATH_BAICHUAN:前加一句LORA_MODEL_PATH_BAICHUAN = False，如下所示：

            if torch.cuda.is_available() and self.llm_device.lower().startswith("cuda"):# 根據(jù)當(dāng)前設(shè)備GPU數(shù)量決定是否進(jìn)行多卡部署num_gpus = torch.cuda.device_count()if num_gpus < 2 and self.device_map is None:# if LORA_MODEL_PATH_BAICHUAN is not None:LORA_MODEL_PATH_BAICHUAN = Falseif LORA_MODEL_PATH_BAICHUAN:

3、在每一個(gè)mode = XXX.from_pretrained(XXX)后面加上.quantize(8).cuda()，對(duì)模型進(jìn)行量化，否則加載會(huì)報(bào)內(nèi)存不夠的錯(cuò)誤。

五、啟動(dòng)

1、關(guān)閉fanqiang軟件
2、運(yùn)行如下命令

python .\webui.py

3、訪問(wèn)http://localhost:7860

六、上傳文檔進(jìn)行問(wèn)答

1、在http://localhost:7860界面，在請(qǐng)選擇要加載的知識(shí)庫(kù)，選擇samples。

2、向知識(shí)庫(kù)中添加一個(gè)文件，點(diǎn)擊上傳文件并加載，等待幾分鐘以后，模型完成訓(xùn)練，即可針對(duì)上傳的文件進(jìn)行問(wèn)答。