泰安正規(guī)的網(wǎng)站建設(shè)站長(zhǎng)工具收錄
框架
和Java生成的中間文件可以在JVM上運(yùn)行一樣,AI技術(shù)在具體落地應(yīng)用方面,和其他軟件技術(shù)一樣,也需要具體的部署和實(shí)施的。既然要做部署,那就會(huì)有不同平臺(tái)設(shè)備上的各種不同的部署方法和相關(guān)的部署架構(gòu)工具
onnx
在訓(xùn)練模型時(shí)可以使用很多不同的框架,比如 Pytorch, TensorFLow, MXNet,以及深度學(xué)習(xí)最開(kāi)始流行的 Caffe 等等,這樣不同的訓(xùn)練框架就導(dǎo)致了產(chǎn)生不同的模型結(jié)果包,在模型進(jìn)行部署推理時(shí)就需要不同的依賴庫(kù),而且同一個(gè)框架比如 tensorflow 不同的版本之間的差異較大
為了解決這個(gè)混亂問(wèn)題,LF AI 這個(gè)組織聯(lián)合 Facebook, MicroSoft等公司制定了機(jī)器學(xué)習(xí)模型的標(biāo)準(zhǔn),這個(gè)標(biāo)準(zhǔn)叫做ONNX, Open Neural Network Exchage,所有其他框架產(chǎn)生的模型包 (.pth, .pb) 都可以轉(zhuǎn)換成這個(gè)標(biāo)準(zhǔn)格式,轉(zhuǎn)換成這個(gè)標(biāo)準(zhǔn)格式后,就可以使用統(tǒng)一的 ONNX Runtime等工具進(jìn)行統(tǒng)一部署。onnx runtime引擎為生成的onnx模型文件提供推理功能
OpenVino
Intel公司針對(duì)自家設(shè)備開(kāi)開(kāi)發(fā)的部署工具
TensorRT
NVIDIA公司針對(duì)自家GPU開(kāi)發(fā)的部署工具
MediaPipe
Google針對(duì)自家硬件設(shè)備和深度學(xué)習(xí)框架開(kāi)發(fā)的部署工具
NCNN
騰訊公司開(kāi)發(fā)的移動(dòng)端平臺(tái)部署工具
Optimum
Optimum是huggingface transformers庫(kù)的一個(gè)擴(kuò)展包,用來(lái)提升模型在指定硬件上的訓(xùn)練和推理性能。該庫(kù)文檔地址為?Optimum。
huggingface optimum中文教程-1、初探 - 知乎
Diffusers
?Hugging Face 平臺(tái)提供了基礎(chǔ)模型權(quán)重以及通用的模型訓(xùn)練框架 diffusers
ComfyUI
ComfyUI 和stable-diffusion-webui的作用類(lèi)似,安裝方法也類(lèi)似
【分享】SDXL模型最佳拍檔!COMFY UI上手指南