一、介紹

Index-1.9B 系列是 Index 系列型號的輕量級版本，包含以下型號：

• Index-1.9B 基礎(chǔ)：具有 19 億個非嵌入?yún)?shù)的基礎(chǔ)模型，在 2.8T 主要為中文和英文的語料上進行預(yù)訓(xùn)練，在多個評測基準(zhǔn)上與同級別模型相比領(lǐng)先。
• Index-1.9B pure：基礎(chǔ)模型的控制版本，具有相同的參數(shù)和訓(xùn)練策略，但嚴(yán)格從語料庫中過濾掉所有與指令相關(guān)的數(shù)據(jù)，以驗證指令對基準(zhǔn)的影響。
• Index-1.9B 聊天：基于 index-1.9B 基數(shù)的與 SFT 和 DPO 對齊的對話模型。我們發(fā)現(xiàn)，由于在預(yù)訓(xùn)練中引入了大量互聯(lián)網(wǎng)社區(qū)語料，該模型與同級別的模型相比，具有明顯更有趣的聊天能力和強大的多語言（尤其是東亞語言）翻譯能力。
• Index-1.9B 角色：在 SFT 和 DPO 之上引入 RAG，以實現(xiàn)?fewshots 角色扮演定制。

二、部署過程

基礎(chǔ)環(huán)境最低要求說明：

環(huán)境名稱	版本信息1
Ubuntu	22.04.4 LTS
Cuda	V12.1.105
Python	3.12
NVIDIA Corporation	RTX 3060

1. 更新基礎(chǔ)軟件包

查看系統(tǒng)版本信息

# 查看系統(tǒng)版本信息，包括ID（如ubuntu、centos等）、版本號、名稱、版本號ID等
cat /etc/os-release

配置 apt 國內(nèi)源

# 更新軟件包列表
apt-get update

這個命令用于更新本地軟件包索引。它會從所有配置的源中檢索最新的軟件包列表信息，但不會安裝或升級任何軟件包。這是安裝新軟件包或進行軟件包升級之前的推薦步驟，因為它確保了您獲取的是最新版本的軟件包。

# 安裝 Vim 編輯器
apt-get install -y vim

這個命令用于安裝 Vim 文本編輯器。-y?選項表示自動回答所有的提示為“是”，這樣在安裝過程中就不需要手動確認(rèn)。Vim 是一個非常強大的文本編輯器，廣泛用于編程和配置文件的編輯。

為了安全起見，先備份當(dāng)前的?sources.list?文件之后，再進行修改：

# 備份現(xiàn)有的軟件源列表
cp /etc/apt/sources.list /etc/apt/sources.list.bak

這個命令將當(dāng)前的?sources.list?文件復(fù)制為一個名為?sources.list.bak?的備份文件。這是一個好習(xí)慣，因為編輯?sources.list?文件時可能會出錯，導(dǎo)致無法安裝或更新軟件包。有了備份，如果出現(xiàn)問題，您可以輕松地恢復(fù)原始的文件。

# 編輯軟件源列表文件
vim /etc/apt/sources.list

這個命令使用 Vim 編輯器打開?sources.list?文件，以便您可以編輯它。這個文件包含了 APT（Advanced Package Tool）用于安裝和更新軟件包的軟件源列表。通過編輯這個文件，您可以添加新的軟件源、更改現(xiàn)有軟件源的優(yōu)先級或禁用某些軟件源。

在 Vim 中，您可以使用方向鍵來移動光標(biāo)，i?鍵進入插入模式（可以開始編輯文本），Esc?鍵退出插入模式，:wq?命令保存更改并退出 Vim，或?:q!?命令不保存更改并退出 Vim。

編輯?sources.list?文件時，請確保您了解自己在做什么，特別是如果您正在添加新的軟件源。錯誤的源可能會導(dǎo)致軟件包安裝失敗或系統(tǒng)安全問題。如果您不確定，最好先搜索并找到可靠的源信息，或者咨詢有經(jīng)驗的 Linux 用戶。

使用 Vim 編輯器打開?sources.list?文件，復(fù)制以下代碼替換?sources.list里面的全部代碼，配置 apt 國內(nèi)阿里源。

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

安裝常用軟件和工具

# 更新源列表，輸入以下命令：
apt-get update# 更新系統(tǒng)軟件包，輸入以下命令：
apt-get upgrade# 安裝常用軟件和工具，輸入以下命令：
apt-get -y install vim wget git git-lfs unzip lsof net-tools gcc cmake build-essential

出現(xiàn)以下頁面，說明國內(nèi)apt源已替換成功，且能正常安裝apt軟件和工具

2. 安裝 NVIDIA CUDA Toolkit 12.1

• 下載 CUDA Keyring?：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb

這個命令用于下載 CUDA 的 GPG 密鑰環(huán)，它用于驗證 CUDA 軟件包的簽名。這是確保軟件包安全性的一個重要步驟。

• 安裝 CUDA Keyring?：

dpkg -i cuda-keyring_1.0-1_all.deb

使用?dpkg?安裝下載的密鑰環(huán)。這是必要的，以便?apt?能夠驗證從 NVIDIA 倉庫下載的軟件包的簽名。

• 刪除舊的 apt 密鑰（如果必要）?：

apt-key del 7fa2af80

這一步可能不是必需的，除非您知道?7fa2af80?是與 CUDA 相關(guān)的舊密鑰，并且您想從系統(tǒng)中刪除它以避免混淆。通常情況下，如果您只是安裝 CUDA 并使用 NVIDIA 提供的最新密鑰環(huán)，這一步可以跳過。

• 更新 apt 包列表?：

apt-get update

更新 apt 的軟件包列表，以便包括剛剛通過?cuda-keyring?添加的 NVIDIA 倉庫中的軟件包。

• 安裝 CUDA Toolkit?：

apt-get -y install cuda-toolkit-12-1

出現(xiàn)以下頁面，說明 NVIDIA CUDA Toolkit 12.1 安裝成功

注意：這里可能有一個問題。NVIDIA 官方 Ubuntu 倉庫中可能不包含直接名為?cuda-toolkit-12-1?的包。通常，您會安裝一個名為?cuda?或?cuda-12-1?的元包，它會作為依賴項拉入 CUDA Toolkit 的所有組件。請檢查 NVIDIA 的官方文檔或倉庫，以確認(rèn)正確的包名。

如果您正在尋找安裝特定版本的 CUDA Toolkit，您可能需要安裝類似?cuda-12-1?的包（如果可用），或者從 NVIDIA 的官方網(wǎng)站下載 CUDA Toolkit 的?.run?安裝程序進行手動安裝。

請確保您查看 NVIDIA 的官方文檔或 Ubuntu 的 NVIDIA CUDA 倉庫以獲取最準(zhǔn)確的包名和安裝指令。

• 出現(xiàn)以上情況，需要配置 NVIDIA CUDA Toolkit 12.1 系統(tǒng)環(huán)境變量

編輯 ~/.bashrc 文件

# 編輯 ~/.bashrc 文件
vim ~/.bashrc

插入以下環(huán)境變量

# 插入以下環(huán)境變量
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

激活 ~/.bashrc 文件

# 激活 ~/.bashrc 文件
source ~/.bashrc

查看cuda系統(tǒng)環(huán)境變量

which nvcc
nvcc -V

3. 安裝 Miniconda

• 下載 Miniconda 安裝腳本?：
  • 使用?wget?命令從 Anaconda 的官方倉庫下載 Miniconda 的安裝腳本。Miniconda 是一個更小的 Anaconda 發(fā)行版，包含了 Anaconda 的核心組件，用于安裝和管理 Python 包。
• 運行 Miniconda 安裝腳本?：
  • 使用?bash?命令運行下載的 Miniconda 安裝腳本。這將啟動 Miniconda 的安裝過程。

# 下載 Miniconda 安裝腳本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 運行 Miniconda 安裝腳本
bash Miniconda3-latest-Linux-x86_64.sh# 初次安裝需要激活 base 環(huán)境
source ~/.bashrc

按下回車鍵（enter）

輸入yes

輸入yes

安裝成功如下圖所示

pip配置清華源加速

# 編輯 /etc/pip.conf 文件
vim  /etc/pip.conf

加入以下代碼

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

注意事項：

• 請確保您的系統(tǒng)是 Linux x86_64 架構(gòu)，因為下載的 Miniconda 版本是為該架構(gòu)設(shè)計的。
• 在運行安裝腳本之前，您可能需要使用?chmod +x Miniconda3-latest-Linux-x86_64.sh?命令給予腳本執(zhí)行權(quán)限。
• 安裝過程中，您將被提示是否同意許可協(xié)議，以及是否將 Miniconda 初始化。通常選擇 "yes" 以完成安裝和初始化。
• 安裝完成后，您可以使用?conda?命令來管理 Python 環(huán)境和包。
• 如果鏈接無法訪問或解析失敗，可能是因為網(wǎng)絡(luò)問題或鏈接本身的問題。請檢查網(wǎng)絡(luò)連接，并確保鏈接是最新的和有效的。如果問題依舊，請訪問 Anaconda 的官方網(wǎng)站獲取最新的下載鏈接。

4. 從?github 倉庫?克隆項目

• 克隆存儲庫：
  • git clone?https://github.com/bilibili/Index-1.9B.git
• 切換目錄：
  • cd Index-1.9B
  • 這個命令使用?cd（change directory）命令切換當(dāng)前工作目錄到剛才克隆的 "Index-1.9B" 目錄中。這意味著接下來執(zhí)行的所有命令都是在該項目目錄下執(zhí)行。

# 克隆 Index-1.9B 項目
git clone https://github.com/bilibili/Index-1.9B.git# 切換到克隆的項目目錄中
cd Index-1.9B

如果 github 無法訪問，使用?國內(nèi)鏡像?進行克隆

git clone?yangchl/Index-1.9B

# 克隆 Index-1.9B 項目
git clone https://gitee.com/empty-snow/Index-1.9B.git# 切換到克隆的項目目錄中
cd Index-1.9B

出現(xiàn)以上頁面即是克隆項目成功！

請注意，如果?git clone https://github.com/bilibili/Index-1.9B.git?這個鏈接不存在或者無效，git clone?命令將不會成功克隆項目，并且會報錯。確保鏈接是有效的，并且您有足夠的權(quán)限訪問該存儲庫。

5. 創(chuàng)建虛擬環(huán)境

# 創(chuàng)建一個名為 Index_1.9B 的新虛擬環(huán)境，并指定 Python 版本為 3.12
conda create -n Index_1.9B python=3.12 -y

6. 安裝模型依賴庫

• 切換到項目目錄、激活虛擬環(huán)境、安裝依賴

# 切換到 Index-1.9B 項目工作目錄
cd Index-1.9B# 激活 Index_1.9B 虛擬環(huán)境
conda activate Index_1.9B# 安裝 requirements.txt 依賴
pip install -r requirements.txt

依賴安裝成功如下圖所示：

7. 下載預(yù)訓(xùn)練模型

• 進入?Hugging Face?官網(wǎng)，進行模型搜索、下載：

• 如果不能進入?Hugging Face?官網(wǎng)，則進入?HF Mirror?進行模型搜索、下載（步驟如上圖一樣）：

• 下載頁面：

# 下載模型
git lfs install
git clone https://hf-mirror.com/IndexTeam/Index-1.9B-Chat

• 模型下載完成的截圖：

8. 運行 web_demo.py 文件

# 切換到 Index-1.9B 項目工作目錄
cd Index-1.9B# 激活 Index_1.9B 虛擬環(huán)境
conda activate Index_1.9B# 運行 web_demo.py 文件
python demo/web_demo.py --port='8080' --model_path='Index-1.9B-Chat'

在運行過程中，出現(xiàn)以上報錯，需要進入?pytorch官網(wǎng)?安裝 pytorch 依賴包：

pytorch 依賴安裝命令：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

輸入 y

等待安裝完成

再次運行 web_demo.py 文件：

# 切換到 Index-1.9B 項目工作目錄
cd Index-1.9B# 激活 Index_1.9B 虛擬環(huán)境
conda activate Index_1.9B# 運行 web_demo.py 文件
python demo/web_demo.py --port='8080' --model_path='Index-1.9B-Chat'

出現(xiàn)以上報錯，需要安裝 sentencepiece 依賴包：

pip install sentencepiece

再次運行 web_demo.py 文件：

# 切換到 Index-1.9B 項目工作目錄
cd Index-1.9B# 激活 Index_1.9B 虛擬環(huán)境
conda activate Index_1.9B# 運行 web_demo.py 文件
python demo/web_demo.py --port='8080' --model_path='Index-1.9B-Chat'

繼續(xù)按照報錯要求進行依賴安裝：

pip install accelerate

再次運行 web_demo.py 文件：

# 切換到 Index-1.9B 項目工作目錄
cd Index-1.9B# 激活 Index_1.9B 虛擬環(huán)境
conda activate Index_1.9B# 運行 web_demo.py 文件
python demo/web_demo.py --port='8080' --model_path='Index-1.9B-Chat'

三、網(wǎng)頁演示

出現(xiàn)以下 Gradio 頁面，即是模型已搭建完成。