asp汽車租憑網(wǎng)站源碼營銷知識(shí)和技巧
官方網(wǎng)站：Quantization — PyTorch 2.1 documentation
Practical Quantization in PyTorch | PyTorch
量化簡介
量化是指執(zhí)行計(jì)算和存儲(chǔ)的技術(shù) 位寬低于浮點(diǎn)精度的張量。量化模型 在張量上執(zhí)行部分或全部操作，精度降低，而不是 全精度（浮點(diǎn)）值。這允許更緊湊的模型表示和 在許多硬件平臺(tái)上使用高性能矢量化操作。 與典型的 FP32 模型相比，PyTorch 支持 INT8 量化，
- 模型大小減少 4 倍
- 內(nèi)存帶寬減少 4 倍
- INT8 計(jì)算的硬件支持通常為 2 到 4 個(gè) 與 FP32 計(jì)算相比，速度快幾倍
量化主要是一種技術(shù) 加速推理，量化僅支持前向傳遞 運(yùn)營商。
PyTorch 支持多種量化深度學(xué)習(xí)模型的方法。在 大多數(shù)情況下，模型在 FP32 中訓(xùn)練，然后將模型轉(zhuǎn)換為 INT8 中。此外，PyTorch 還支持量化感知訓(xùn)練，這 使用以下方法對(duì)前向和后向傳遞中的量化誤差進(jìn)行建模 假量化模塊。請(qǐng)注意，整個(gè)計(jì)算是在 浮點(diǎn)。在量化感知訓(xùn)練結(jié)束時(shí)，PyTorch 提供 轉(zhuǎn)換函數(shù)，用于將訓(xùn)練好的模型轉(zhuǎn)換為較低精度的模型。
在較低級(jí)別，PyTorch 提供了一種表示量化張量和 使用它們執(zhí)行操作。它們可用于直接構(gòu)建模型 以較低的精度執(zhí)行全部或部分計(jì)算。更高級(jí)別 提供了包含轉(zhuǎn)換 FP32 模型的典型工作流的 API 以最小的精度損失降低精度。
pytorch從1.3 版開始，提供了量化功能，PyTorch 1.4 發(fā)布后，在 PyTorch torchvision 0.5 庫中發(fā)布了 ResNet、ResNext、MobileNetV2、GoogleNet、InceptionV3 和 ShuffleNetV2 的量化模型。
PyTorch 量化 API 摘要
PyTorch 提供了兩種不同的量化模式：Eager Mode Quantization 和 FX Graph Mode Quantization。
Eager Mode Quantization 是一項(xiàng)測(cè)試版功能。用戶需要進(jìn)行融合并指定手動(dòng)進(jìn)行量化和反量化的位置，而且它只支持模塊而不是功能。
FX Graph Mode Quantization 是 PyTorch 中一個(gè)新的自動(dòng)化量化框架，目前它是一個(gè)原型功能。它通過添加對(duì)函數(shù)的支持和自動(dòng)化量化過程來改進(jìn) Eager Mode Quantization，盡管人們可能需要重構(gòu)模型以使模型與 FX Graph Mode Quantization 兼容（符號(hào)上可追溯到 ）。請(qǐng)注意，FX Graph Mode Quantization 預(yù)計(jì)不適用于任意模型，因?yàn)樵撃Ｐ涂赡軣o法符號(hào)跟蹤，我們將它集成到 torchvision 等域庫中，用戶將能夠量化類似于 FX Graph Mode Quantization 支持的域庫中的模型。對(duì)于任意模型，我們將提供一般準(zhǔn)則，但要真正使其工作，用戶可能需要熟悉，尤其是如何使模型具有符號(hào)可追溯性。torch.fxtorch.fx
PyTorch量化結(jié)構(gòu)
- PyTorch 具有與量化張量對(duì)應(yīng)的數(shù)據(jù)類型，這些張量具有許多張量的特征。
- 人們可以編寫具有量化張量的內(nèi)核，就像浮點(diǎn)張量的內(nèi)核一樣，以自定義其實(shí)現(xiàn)。PyTorch 支持將常見操作的量化模塊作為 和 name-space 的一部分。
torch.nn.quantizedtorch.nn.quantized.dynamic - 量化與 PyTorch 的其余部分兼容：量化模型是可跟蹤和可編寫腳本的。服務(wù)器和移動(dòng)后端的量化方法幾乎相同?？梢暂p松地在模型中混合量化和浮點(diǎn)運(yùn)算。
- 浮點(diǎn)張量到量化張量的映射可以使用用戶定義的觀察者/假量化模塊進(jìn)行自定義。PyTorch 提供了適用于大多數(shù)用例的默認(rèn)實(shí)現(xiàn)。
【量化張量，量化模型 ，工具上的量化】
PYTORCH的三種量化模式
🫧動(dòng)態(tài)量化?Dynamic qunatization：使權(quán)重為整數(shù)(訓(xùn)練后)
🤖訓(xùn)練后靜態(tài)量化?Static quantization：使權(quán)值和激活值為整數(shù)(訓(xùn)練后)
量化感知訓(xùn)練?Quantization aware training：以整數(shù)精度對(duì)模型進(jìn)行訓(xùn)練
🫧動(dòng)態(tài)量化
PyTorch 支持的最簡單的量化方法稱為動(dòng)態(tài)量化。這不僅涉及將權(quán)重轉(zhuǎn)換為 int8（就像所有量化變體一樣），還涉及在進(jìn)行計(jì)算之前將激活轉(zhuǎn)換為 int8（因此是“動(dòng)態(tài)”的）。因此，計(jì)算將使用高效的 int8 矩陣乘法和卷積實(shí)現(xiàn)來執(zhí)行，從而加快計(jì)算速度。但是，激活以浮點(diǎn)格式讀取和寫入內(nèi)存。
🤖訓(xùn)練后靜態(tài)量化
可以通過將網(wǎng)絡(luò)轉(zhuǎn)換為同時(shí)使用整數(shù)算術(shù)和 int8 內(nèi)存訪問來進(jìn)一步提高性能（延遲）。靜態(tài)量化執(zhí)行額外的步驟，即首先通過網(wǎng)絡(luò)提供批量數(shù)據(jù)并計(jì)算不同激活的結(jié)果分布（具體來說，這是通過在記錄這些分布的不同點(diǎn)插入“觀察者”模塊來完成的）。此信息用于確定在推理時(shí)應(yīng)如何具體量化不同的激活
量化感知訓(xùn)練
量化感知訓(xùn)練 （QAT）?是第三種方法，也是這三種方法中通常最準(zhǔn)確的一種方法。使用 QAT，在訓(xùn)練的前向和后向傳遞期間，所有權(quán)重和激活都是“假量化”的：也就是說，浮點(diǎn)值被舍入以模仿 int8 值，但所有計(jì)算仍然使用浮點(diǎn)數(shù)完成。因此，訓(xùn)練期間的所有權(quán)重調(diào)整都是在“意識(shí)到”模型最終將被量化的事實(shí)的情況下進(jìn)行的;因此，在量化后，該方法通常比其他兩種方法產(chǎn)生更高的準(zhǔn)確度。
官網(wǎng)中提供的一些建議，不同的網(wǎng)絡(luò)選擇不同的量化模式：
結(jié)果顯示在性能和精度上都有提高
計(jì)算機(jī)視覺模型精度
語音和自然語言處理精度
量化實(shí)例
目前torchvision【2】中提供的7個(gè)量化模型如圖（截止20231227）
實(shí)例1：量化resnet18網(wǎng)絡(luò)
(beta) Quantized Transfer Learning for Computer Vision Tutorial — PyTorch Tutorials 2.2.0+cu121 documentation
?實(shí)例2：量化MobileNet v2?網(wǎng)絡(luò)
??? ??? — ???? ??? ???? (PyTorch tutorials in Korean)
?
Q&A
【Q&A1】模型量化，剪枝的區(qū)別是什么？
模型量化和剪枝是兩種不同的技術(shù)，用于減小神經(jīng)網(wǎng)絡(luò)模型的大小、加速推理過程并降低模型的計(jì)算復(fù)雜度。它們的主要區(qū)別在于優(yōu)化模型的方式和目標(biāo)。
模型量化（Quantization）：
- 定義：模型量化是通過減少模型中參數(shù)的表示精度來實(shí)現(xiàn)模型壓縮的過程。通常，神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)是使用浮點(diǎn)數(shù)表示的，而量化則將這些參數(shù)表示為更少比特的定點(diǎn)數(shù)或整數(shù)，從而減小了內(nèi)存占用和計(jì)算成本。
- 目標(biāo)：減小模型的存儲(chǔ)空間和加速推理過程。通過使用較少位數(shù)的表示來存儲(chǔ)權(quán)重和激活值，模型的存儲(chǔ)需求減少，且在硬件上執(zhí)行推理時(shí)，可以更快地進(jìn)行計(jì)算。
剪枝（Pruning）：
- 定義：剪枝是一種技術(shù)，通過減少神經(jīng)網(wǎng)絡(luò)中的連接或參數(shù)來減小模型的大小。在剪枝過程中，通過將權(quán)重較小或?qū)δＰ拓暙I(xiàn)較小的連接移除或設(shè)為零，從而減少模型的復(fù)雜度。
- 目標(biāo)：減小模型的尺寸和計(jì)算負(fù)載。剪枝不僅可以減少模型的存儲(chǔ)需求，還可以在推理時(shí)減少乘法操作，因?yàn)橐瞥瞬糠诌B接或參數(shù)，從而提高推理速度。
雖然兩者都致力于減小模型的大小和計(jì)算復(fù)雜度，但方法和實(shí)現(xiàn)方式略有不同。模型量化側(cè)重于減小參數(shù)表示的精度，而剪枝則專注于減少模型的連接或參數(shù)數(shù)量。通常，這兩種技術(shù)可以結(jié)合使用，以更大程度地減小神經(jīng)網(wǎng)絡(luò)模型的尺寸和提高推理效率。
【Q&A2】減小模型的大小的方法有什么？
深度壓縮（Deep Compression）：
- 這是一種綜合性的方法，包括剪枝、權(quán)重共享和 Huffman 編碼等步驟。它不僅剪枝模型中的連接，還可以通過權(quán)重共享和 Huffman 編碼來進(jìn)一步減小模型的大小。這種方法通常能夠在保持模型性能的同時(shí)大幅減小模型大小。
知識(shí)蒸餾（Knowledge Distillation）：
- 這是一種將大型模型中的信息轉(zhuǎn)移到小型模型的技術(shù)。通過訓(xùn)練一個(gè)較小的模型去模仿大型模型的行為，以捕捉大型模型的復(fù)雜性和性能。這樣可以在不損失太多性能的情況下使用更小的模型。
低秩近似（Low-Rank Approximation）：
- 通過矩陣分解等方法將模型中的權(quán)重矩陣近似為低秩矩陣，從而減少模型參數(shù)數(shù)量。這種方法可以有效地減小模型的尺寸，但有時(shí)會(huì)對(duì)模型性能產(chǎn)生一定影響。
網(wǎng)絡(luò)架構(gòu)優(yōu)化：
- 重新設(shè)計(jì)模型架構(gòu)以減少參數(shù)數(shù)量和計(jì)算量。可以通過精心設(shè)計(jì)模型結(jié)構(gòu)，如使用輕量級(jí)網(wǎng)絡(luò)、深度可分離卷積等技術(shù)，來降低模型的復(fù)雜度。
權(quán)重量化和編碼：
- 類似于模型量化，可以對(duì)權(quán)重進(jìn)行更復(fù)雜的編碼或量化方式，以更有效地表示權(quán)重并減少模型大小。
這些方法可以單獨(dú)使用，也可以組合使用，根據(jù)具體的情況和需求來選擇合適的技術(shù)來減小模型的大小。常常需要在壓縮模型尺寸和保持模型性能之間找到平衡。
參考文獻(xiàn)
【1】Introduction to Quantization on PyTorch | PyTorch
【2】vision/torchvision/models/quantization at main · pytorch/vision (github.com)?
【3】量化自定義PyTorch模型入門教程 - 知乎 (zhihu.com)
【4】?深度學(xué)習(xí)知識(shí)六：(模型量化壓縮)----pytorch自定義Module,并通過其理解DoReFaNet網(wǎng)絡(luò)定義方法。_pytorch dorefa save_for_backward-CSDN博客
【5】端到端Transformer模型的混合精度后量化_量化 端到端-CSDN博客?
【6】transformers 保存量化模型并加載_from transformers import autotokenizer, automodel-CSDN博客?【7】使用 Transformers 量化 Meta AI LLaMA2 中文版大模型 - 蘇洋博客 (soulteary.com)
【8】Model Compression - 'Quantization' | LeijieZhang (leijiezhang001.github.io)?