1 參考資料

《新版本Lmdeploy量化手冊與評測》

2 項目資料

項目主頁：【tcexeexe / pdf閱讀小助手】

3 模型運行測試

在InternStudio平臺中選擇A100 (1/4)的配置，鏡像選擇Cuda11.7-conda，可以選擇已有的開發(fā)機langchain；

3.1 創(chuàng)建工作空間

mkdir /root/pdf_project

1.2 Clone項目

git clone https://gitee.com/tcexeexe/pdf-reading-assistant.git

1.3 ?創(chuàng)建虛擬項目空間并生成軟鏈接

# 迭代創(chuàng)建虛擬項目空間和model目錄
ln -sf /root/pdf_project /home/tcexeexe
# 建立分詞數(shù)據(jù)目錄
mkdir -p /root/pdf_project/data/pdf-reading-assistant/data_base/vector_db/pdf

1.4 激活conda環(huán)境

conda activate InternLM

1.5 安裝PyPDF2庫

pip install PyPDF2 pypdf tiktoken transformers_stream_generator

1.6 創(chuàng)建model文件夾：用來存放工具模型

mkdir -p /home/tcexeexe/data/model

1.7 建立分詞程序的軟鏈接

ln -sf /root/data/model/sentence-transformer /home/tcexeexe/data/model/sentence-transformer

Note:

• /home/tcexeexe/data/model/sentence-transformer：此路徑來自于make_knowledge_repository.py

1.8 生成PDF知識庫

python /root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py

以上腳本會生成數(shù)據(jù)庫文件chroma.sqlite3，知識庫中指定的文件內(nèi)容就會存到其中，之前使用的PDF文件就不需要了。

在安裝PyPDF2之后仍然會遇到"ModuleNotFoundError: No module named ‘PyPDF2’"的錯誤

我們猜測這個錯誤是因為PyPDF2跟pypdf的重復安裝導致的，為了驗證這個問題，我們可以嘗試使用絕對路徑運行make_knowledge_repository.py:

/root/.conda/envs/InternLM/bin/python \
/root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py

1.9 在InternStudio中上傳的PDF文件會被其意外清理

我們在InternStudio上做實驗時發(fā)現(xiàn)：

InternStudio會不定時地刪除上傳的PDF文件；

我們咨詢了一下隊長：

隊長回復說這是InternStudio一種已知的問題；

1.8 運行網(wǎng)頁demo

python /root/pdf_project/data/pdf-reading-assistant/web_demo.py

1.9 生成秘鑰

ssh-keygen -t rsa

1.10 使用瀏覽器訪問應用

通過網(wǎng)頁訪問：127.0.0.1:7860

1.11 提問備忘

“提示學習”：來自于《大語言模型提示注入攻擊安全風險分析報告》

提示學習是什么

2 模型部署

2.1 OpenXLab：“相當于浦語體系中的HuggingFace平臺”

2.2 更新工具庫

python -m pip install --upgrade pip