前言

Text generation web UI可為類(lèi)ChatGPT的大型語(yǔ)言模型提供能夠快速上手的網(wǎng)頁(yè)界面，不僅可以提高使用效率，還可滿(mǎn)足私有化部署，或?qū)δＰ瓦M(jìn)行自定義。目前，該Web UI已經(jīng)支持了許多流行的語(yǔ)言模型，包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等.

而且，Text generation web UI部署非常簡(jiǎn)便，不僅在github主頁(yè)上直接提供了一鍵部署安裝包，同時(shí)由于是web UI形式，直接通過(guò)瀏覽器即可操作，不過(guò)本地化部署，無(wú)法遠(yuǎn)程訪問(wèn)，這里我們結(jié)合cpolar內(nèi)網(wǎng)穿透工具實(shí)現(xiàn)從安裝到最后實(shí)現(xiàn)遠(yuǎn)程訪問(wèn)。

系統(tǒng)環(huán)境

Windows 10

Python 3.11.4

1. 安裝Text generation web UI

在github界面下載壓縮包，這里以windows系統(tǒng)為例：

https://github.com/oobabooga/text-generation-webui

使用windows系統(tǒng)，我們下載windows壓縮包：

下載后，這里注意：存放目錄的路徑不能有空格，然后點(diǎn)擊start_windows.bat啟動(dòng)安裝。

在安裝過(guò)程中會(huì)提示選擇顯卡類(lèi)型，根據(jù)電腦配置正常選擇即可，然后等待下載，下載大小2個(gè)GB左右大小資源。

2.安裝依賴(lài)

上面安裝后會(huì)出現(xiàn)兩個(gè)文件夾，可以看到其中一個(gè)是text-generation-webui?名稱(chēng)文件夾，我們點(diǎn)擊cmd_windows.bat打開(kāi)cmd命令行。

打開(kāi)后，進(jìn)入text-generation-webui文件夾：

cd text-generation-webui

Bash

Copy

執(zhí)行下載依賴(lài)命令，注意！！！這里需要kx上網(wǎng)，否則下載依賴(lài)會(huì)發(fā)生錯(cuò)誤，包括后面也一直需要保持kx上網(wǎng)哦！！！

pip install -r requirements.txt

Bash

Copy

執(zhí)行后等待下載完成即可

3. 安裝語(yǔ)言模型

同意點(diǎn)擊cmd_windows.bat打開(kāi)cmd命令行，進(jìn)入

輸入命令進(jìn)入text-generation-webui文件夾

cd text-generation-webui

Bash

Copy

安裝facebook語(yǔ)言模型，其他語(yǔ)言模型可以查看GitHub文檔上面找到：

python download-model.py facebook/opt-1.3b

Bash

Copy

輸入后等待下載安裝完成即可，為了防止出現(xiàn)下載失敗，建議開(kāi)啟kx上網(wǎng)！

4. 啟動(dòng)

點(diǎn)擊start_windows.bat啟動(dòng)

啟動(dòng)后，可以看到訪問(wèn)的地址和端口，端口是:7860

在瀏覽器輸入上述URL，即可看到web ui 界面：

設(shè)置一下語(yǔ)言模型，點(diǎn)擊Model，在下拉框可以看到我們上面下載安裝的facebook模型，選擇后點(diǎn)擊Load，然后保存設(shè)置。

然后輸入即可對(duì)話(huà)，這樣就搭建好了，可玩度很高，且可以擴(kuò)展其他語(yǔ)言模型！

5. 安裝cpolar 內(nèi)網(wǎng)穿透

cpolar內(nèi)網(wǎng)穿透工具，永久免費(fèi)且不限制流量，支持http/https/tcp協(xié)議，無(wú)需公網(wǎng)IP，也不用設(shè)置路由器，使用簡(jiǎn)單。

cpolar官網(wǎng)：https://www.cpolar.com/

訪問(wèn)cpolar官網(wǎng)，注冊(cè)一個(gè)賬號(hào)，然后下載并安裝客戶(hù)端，具體安裝教程可以參考官網(wǎng)文檔教程。

• windows系統(tǒng)：在官網(wǎng)下載安裝包后，雙擊安裝包一路默認(rèn)安裝即可。
• linux系統(tǒng)：支持一鍵自動(dòng)安裝腳本，詳細(xì)請(qǐng)參考官網(wǎng)文檔——入門(mén)指南

cpolar安裝成功后，在瀏覽器上訪問(wèn)本地9200端口【http://localhost:9200】，使用cpolar賬號(hào)登錄。

6. 創(chuàng)建公網(wǎng)地址

點(diǎn)擊左側(cè)儀表盤(pán)的隧道管理——?jiǎng)?chuàng)建隧道，創(chuàng)建一個(gè)我們上面的text generation webui 的http訪問(wèn)方式的7860隧道

• 隧道名稱(chēng)：可自定義命名，注意不要與已有的隧道名稱(chēng)重復(fù)
• 協(xié)議：選擇http
• 本地地址：7860
• 域名類(lèi)型：免費(fèi)選擇隨機(jī)域名
• 地區(qū)：選擇China vip

點(diǎn)擊創(chuàng)建

隧道創(chuàng)建成功后，點(diǎn)擊左側(cè)的狀態(tài)——在線隧道列表,查看所生成的公網(wǎng)地址，有兩種訪問(wèn)方式，一種是http 和https

7. 公網(wǎng)訪問(wèn)

我們使用http公網(wǎng)地址訪問(wèn)，可以看到，我們?cè)L問(wèn)到了text generation webui?界面，這樣一個(gè)公網(wǎng)地址訪問(wèn)就創(chuàng)建好了。

8. 固定公網(wǎng)地址

由于以上使用cpolar所創(chuàng)建的隧道使用的是隨機(jī)公網(wǎng)地址，24小時(shí)內(nèi)會(huì)隨機(jī)變化，不利于長(zhǎng)期遠(yuǎn)程訪問(wèn)。因此我們可以為其配置二級(jí)子域名，該地址為固定地址，不會(huì)隨機(jī)變化【ps：cpolar.cn已備案】

注意需要將cpolar套餐升級(jí)至基礎(chǔ)套餐或以上，且每個(gè)套餐對(duì)應(yīng)的帶寬不一樣?！綾polar.cn已備案】

登錄cpolar官網(wǎng)，點(diǎn)擊左側(cè)的預(yù)留，選擇保留二級(jí)子域名，地區(qū)選擇china vip top，然后設(shè)置一個(gè)二級(jí)子域名名稱(chēng)，填寫(xiě)備注信息，點(diǎn)擊保留。

保留成功后復(fù)制保留的二級(jí)子域名地址：

登錄cpolar web UI管理界面，點(diǎn)擊左側(cè)儀表盤(pán)的隧道管理——隧道列表，找到所要配置的隧道，點(diǎn)擊右側(cè)的編輯。

修改隧道信息，將保留成功的二級(jí)子域名配置到隧道中

• 域名類(lèi)型：選擇二級(jí)子域名
• Sub Domain：填寫(xiě)保留成功的二級(jí)子域名
• 地區(qū): China VIP

點(diǎn)擊更新

更新完成后，打開(kāi)在線隧道列表，此時(shí)可以看到隨機(jī)的公網(wǎng)地址已經(jīng)發(fā)生變化，地址名稱(chēng)也變成了保留和固定的二級(jí)子域名名稱(chēng)。

最后，我們使用固定的公網(wǎng)地址訪問(wèn)text generation webui?界面可以看到訪問(wèn)成功，一個(gè)永久不會(huì)變化的遠(yuǎn)程訪問(wèn)方式即設(shè)置好了。