一，演示

私人部署地址：http://ilovechatgpt.cn。

免費(fèi)使用！無(wú)限調(diào)用！速度還蠻快呢。

二，ChatGLM介紹

官方地址：https://github.com/THUDM/ChatGLM-6B

ChatGLM-6B 是一個(gè)開源的、支持中英雙語(yǔ)的對(duì)話語(yǔ)言模型，由基于清華大學(xué) KEG 實(shí)驗(yàn)室與智譜 AI 于 2023 年聯(lián)合訓(xùn)練，可以針對(duì)用戶的問題和要求提供適當(dāng)?shù)拇饛?fù)和支持。

它基于 General Language Model 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（具體的部署條件看下章）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術(shù)，針對(duì)中文問答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類偏好的回答。

特點(diǎn)：

1. 開源
2. 支持中文（國(guó)內(nèi)很少有支持中文的開源模型）
3. 低成本部署（兼容CPU）
4. 具有記憶功能

三，部署條件

經(jīng)過測(cè)試，推薦還是GPU部署，CPU運(yùn)行的話運(yùn)行時(shí)占用的資源更多，并且速度實(shí)在太慢了，自己?jiǎn)为?dú)使用的話也不能忍受這么慢的速度。GPU的生成速度才能滿足使用的體驗(yàn)。

內(nèi)存不夠啟動(dòng)項(xiàng)目的話，進(jìn)程會(huì)被自動(dòng)kill掉。而且模型啟動(dòng)后占用的現(xiàn)存是遠(yuǎn)遠(yuǎn)低于需要的現(xiàn)存的，比如說，我用GPU部署的無(wú)量化的ChatGLM2-6B模型，正常來說需要13GB顯存，但我完全啟動(dòng)后，只占用了4GB。

四，手把手教你搭建

1. 安裝git

# centos 操作系統(tǒng)
yum install git
# ubuntu 操作系統(tǒng)
apt-get update
apt install git

2. 克隆地址到本地

git clone https://github.com/THUDM/ChatGLM-6B
# 進(jìn)入項(xiàng)目文件夾
cd ChatGLM-6B 

實(shí)在很慢的話，直接去gitee上面搜ChatGLM-6B，找最新的，有很多人把它搬到gitee作為鏡像項(xiàng)目。

3. 進(jìn)入項(xiàng)目，克隆模型文件

模型文件的作用是作為訓(xùn)練集，項(xiàng)目能夠本地加載該模型文件并將其用于預(yù)測(cè)新的自然語(yǔ)言文本。模型文件決定我們能有怎么樣的輸出結(jié)果。

可以根據(jù)上面部署條件的需求，來選擇項(xiàng)目。我這里以 chatglm2-6b 來部署。

# 注意！后面一定要加上.git。
git clone https://huggingface.co/THUDM/chatglm2-6b.git

路徑下就會(huì)有ChatGLM2-6B的文件夾，我們進(jìn)入到里面

cd chatglm2-6b

你會(huì)發(fā)現(xiàn)模型很大，但是一下子就clone完了，是因?yàn)榇笪募谴鎯?chǔ)到lfs上面的，需要我們用到git的lfs工具來進(jìn)行下載。當(dāng)然，你也可以手動(dòng)下載后，然后拷貝到服務(wù)器上，不過太麻煩，不推薦。

4. git lfs工具安裝（已安裝的話跳過）

centos安裝命令

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bashsudo yum install git-lfsgit lfs install

ubuntu安裝命令

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bashsudo apt-get install git-lfsgit lfs install

5. 克隆模型大文件

git lfs pull 

模型文件都很大，下載時(shí)間很久，我建議在晚上的時(shí)候，使用如下命令，這樣睡一覺，全部都已經(jīng)下載好了。

# nohup 讓程序后臺(tái)運(yùn)行，使其不受終端會(huì)話的影響而持續(xù)運(yùn)行
nohup git lfs pull &

6. 運(yùn)行web_demo.py

我建議把模型文件夾名字換成model，畢竟容易理解

# 進(jìn)入到項(xiàng)目文件夾內(nèi)部
cd ChatGLM-6B
# 改模型名字
mv chatglm2-6b model

修改官方樣例代碼

vim web_demo.py

1. model為模型路徑，也就是剛剛改的。

2. .cuda() 意味用GPU運(yùn)行，如果沒有GPU，換成 .float() 用CPU運(yùn)行就可以

3. server_name參數(shù)指定能夠訪問的ip，默認(rèn)不寫的話是只能本地127.0.0.1訪問
4. server_port參數(shù)指定web服務(wù)端口
5. share代表是否讓huggingface給你生成一個(gè)公網(wǎng)地址，別人能通過該公網(wǎng)地址直接訪問。默認(rèn)只能使用72小時(shí)。

7. 結(jié)果

五，補(bǔ)充

還可以通過命令行窗口交互，運(yùn)行python cli_demo.py文件

nohup python cli_demo.py &

通過模型生成post接口，供其余后臺(tái)應(yīng)用直接調(diào)用

nohup python api.py &

歡迎關(guān)注我的公眾號(hào)！😊