簡(jiǎn)介

PPQ 是 Sensetime OpenPPL 團(tuán)隊(duì)開源的量化部署工具，經(jīng)過量化的神經(jīng)網(wǎng)絡(luò)往往能夠在端側(cè)加速600%~800%，而在目前已經(jīng)支持OpenPPL, TensorRT, SNPE, NXP, Metax等多個(gè)不同平臺(tái)的量化模擬與網(wǎng)絡(luò)部署。PPQ 不僅限于提供強(qiáng)大而先進(jìn)的量化優(yōu)化算法，同時(shí)提供強(qiáng)大的網(wǎng)絡(luò)調(diào)度工具、完善的硬件計(jì)算模擬、量化誤差的分析工具等等，這些工作能夠使得你的神經(jīng)網(wǎng)絡(luò)更加安全地部署在目標(biāo)設(shè)備上，其量化誤差最終是可控的。

安裝 ppq 庫

1. 安裝 CUDA Toolkit：首先，確保系統(tǒng)已經(jīng)安裝了 CUDA Toolkit?？梢詮?NVIDIA 官網(wǎng)下載并安裝適合操作系統(tǒng)和 GPU 的 CUDA 版本。

2. 安裝編譯器：

   對(duì)于 Linux 用戶:
   需要安裝 Ninja 構(gòu)建系統(tǒng)，可以通過以下命令安裝：

   apt-get install ninja-build
   

   對(duì)于 Windows 用戶:

   1. 需要從 Ninja 的 GitHub 釋放頁面 下載 Ninja 可執(zhí)行文件(.exe)，并將其添加到 Windows PATH 環(huán)境變量中。雙擊Path變量即可，之后點(diǎn)擊新建。Releases · ninja-build/ninja (github.com)
   2. 此外，還需要安裝 Visual Studio 2019，并確保 C++ 編譯器的路徑被添加到 PATH 環(huán)境變量中。

3. 安裝 PyTorch：更新或安裝 PyTorch 到 1.10 或更高版本，因?yàn)?ppq 需要 PyTorch 支持。

4. 克隆 PPQ 倉庫并安裝：
   通過以下命令克隆 PPQ 的 GitHub 倉庫并安裝：

   # https://github.com/OpenPPL/ppq
   git clone https://github.com/openppl-public/ppq.git
   cd ppq
   pip install -r requirements.txt
   python setup.py install
   

   如果遇到任何依賴問題，比如 protobuf 版本過高，可以嘗試安裝特定版本的 protobuf ,參考【python error】Descriptors cannot be created directly. must be regenerated with protoc ＞= 3.19.：
   (果然遇到了這個(gè)問題)

   pip install protobuf==3.20.2
   

5. 安裝 PPQ（可選）：

   還可以從 PyPI 安裝 PPQ：（yes）
   雖然可以，我選擇從源碼安裝的，

   pip install ppq
   

參考：
[source: PPQ - 安裝與使用手冊(cè)]