框架

和Java生成的中間文件可以在JVM上運(yùn)行一樣，AI技術(shù)在具體落地應(yīng)用方面，和其他軟件技術(shù)一樣，也需要具體的部署和實(shí)施的。既然要做部署，那就會(huì)有不同平臺(tái)設(shè)備上的各種不同的部署方法和相關(guān)的部署架構(gòu)工具

onnx

在訓(xùn)練模型時(shí)可以使用很多不同的框架，比如 Pytorch， TensorFLow， MXNet，以及深度學(xué)習(xí)最開(kāi)始流行的 Caffe 等等，這樣不同的訓(xùn)練框架就導(dǎo)致了產(chǎn)生不同的模型結(jié)果包，在模型進(jìn)行部署推理時(shí)就需要不同的依賴庫(kù)，而且同一個(gè)框架比如 tensorflow 不同的版本之間的差異較大

為了解決這個(gè)混亂問(wèn)題，LF AI 這個(gè)組織聯(lián)合 Facebook, MicroSoft等公司制定了機(jī)器學(xué)習(xí)模型的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)叫做ONNX, Open Neural Network Exchage，所有其他框架產(chǎn)生的模型包 (.pth, .pb) 都可以轉(zhuǎn)換成這個(gè)標(biāo)準(zhǔn)格式，轉(zhuǎn)換成這個(gè)標(biāo)準(zhǔn)格式后，就可以使用統(tǒng)一的 ONNX Runtime等工具進(jìn)行統(tǒng)一部署。onnx runtime引擎為生成的onnx模型文件提供推理功能

OpenVino

Intel公司針對(duì)自家設(shè)備開(kāi)開(kāi)發(fā)的部署工具

TensorRT

NVIDIA公司針對(duì)自家GPU開(kāi)發(fā)的部署工具

MediaPipe

Google針對(duì)自家硬件設(shè)備和深度學(xué)習(xí)框架開(kāi)發(fā)的部署工具

NCNN

騰訊公司開(kāi)發(fā)的移動(dòng)端平臺(tái)部署工具

Optimum

Optimum是huggingface transformers庫(kù)的一個(gè)擴(kuò)展包，用來(lái)提升模型在指定硬件上的訓(xùn)練和推理性能。該庫(kù)文檔地址為?Optimum。

huggingface optimum中文教程-1、初探 - 知乎

Diffusers

?Hugging Face 平臺(tái)提供了基礎(chǔ)模型權(quán)重以及通用的模型訓(xùn)練框架 diffusers

ComfyUI

ComfyUI 和stable-diffusion-webui的作用類(lèi)似，安裝方法也類(lèi)似

【分享】SDXL模型最佳拍檔！COMFY UI上手指南