大模型與云原生

近年來，大語言模型的熱度可謂是愈發(fā)高漲，尤其是今年年初 Sora 的出現(xiàn)，更是讓全球再次看到了AIGC?的巨大威力。

Sora 生成實(shí)例視頻---幾頭巨大的長毛猛犸踏著積雪的草地而來

在當(dāng)前大模型流行的時(shí)代下，云原生技術(shù)的熱度似乎有所減退，然而，我們不能忽視的是，大模型所依賴的基礎(chǔ)設(shè)施仍然需要云原生和 Kubernetes 的支持。

GTC 2024大會(huì)上，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛，不僅推出了目前全球最強(qiáng)勁的 GPU 芯片 B200。還專門為大規(guī)模部署 AI 模型推出了?"英偉達(dá)推理微服務(wù) (NVIDIA NIM)"。

英偉達(dá) 的 AI 推理服務(wù)?NIM（NVIDIA Inference Manager）?

NVIDIA NIM 是一個(gè)強(qiáng)大的工具，可以簡化和優(yōu)化基于NVIDIA GPU的推理任務(wù)的管理和部署。NIM 的運(yùn)行依賴?kubernetes 和 containerd 容器運(yùn)行時(shí)，NIM 微服務(wù)通過打包算法、系統(tǒng)和運(yùn)行時(shí)優(yōu)化，并添加行業(yè)標(biāo)準(zhǔn)的 API，能夠大幅度簡化 AI 模型部署過程。

基于kubernetes 和 containerd 管理 NVIDIA GPU

NIM 通過?kubernetes 來編排 AI 模型部署任務(wù)，同時(shí)，通過 containerd 集成自家的 nvidia-container-runtime 管理 GPU 設(shè)備，實(shí)現(xiàn) GPU 算力的資源池化。

在大模型的背景下，容器運(yùn)行時(shí)的重要性更加明顯。相比傳統(tǒng)的虛擬化技術(shù)，容器啟動(dòng)速度更快，同時(shí)共享內(nèi)核的輕量型虛擬化，大幅減少了資源的開銷。這對于大模型的訓(xùn)練和推理來說非常重要，因?yàn)樗鼈兺ǔＰ枰焖俨渴鸷透咝У馁Y源利用。

為什么寫這本書

Kubernetes 作為容器編排領(lǐng)域的事實(shí)標(biāo)準(zhǔn)毫無疑問，同時(shí)大模型時(shí)代的到來也證明了云原生依然是無可撼動(dòng)的云計(jì)算基礎(chǔ)設(shè)施。隨著 2020 年?Kubernetes 在 v2.20 版本宣布開始棄用 dockershim，越來越多的 企業(yè)在構(gòu)建 Kubernetes 集群是選擇 containerd 作為底層運(yùn)行時(shí)，這使得 containerd 在整個(gè)云原生技術(shù)棧中的地位日益提升。

CRI 支持的容器運(yùn)行時(shí)有很多，其中 containerd 作為從 Docker 項(xiàng)目中分離出來的項(xiàng)目，由于經(jīng)歷了 Docker 多年生產(chǎn)環(huán)境的磨練，相比其他 CRI 運(yùn)行時(shí)也更加健壯、成熟。正因如此，它也是 kubernetes 官方推薦使用的運(yùn)行時(shí)。

Docker 作為老牌的容器運(yùn)行時(shí)，市面上關(guān)于它的書籍和資料很多，Kubernetes 的書籍也很多，而 containerd 作為一個(gè)新興的容器運(yùn)行時(shí)，截止本書出版前，卻依然沒有一個(gè)系統(tǒng)介紹 containerd 的書籍。

作為一名云原生以及容器技術(shù)的忠實(shí)粉絲，筆者很早就接觸到了 containerd 項(xiàng)目，見證了 containerd 項(xiàng)目的發(fā)展，并為之取得的成就感到驕傲。也對 containerd 項(xiàng)目充滿了信心。因此希望通過這本書讓更多的人了解 containerd，體驗(yàn) containerd 帶來的價(jià)值。

本書內(nèi)容

本書從云原生與容器運(yùn)行時(shí)講起，內(nèi)容涵蓋云原生以及容器的發(fā)展史、容器技術(shù)的 Linux 原理、containerd 的架構(gòu)、原理、功能、部署、配置、插件擴(kuò)展開發(fā)等，并詳細(xì)介紹 containerd生產(chǎn)實(shí)踐中的配置以及落地實(shí)踐，使讀者對 containerd 的概念、原理、實(shí)踐有比較清晰的了解。

大咖推薦

本書的出版也得到了 CNCF、浙江大學(xué)計(jì)算機(jī)系 SEL 實(shí)驗(yàn)室、火山引擎邊緣云、邊緣計(jì)算社區(qū)、kata containerd 架構(gòu)委員會(huì)等專家的傾力推薦。

購買鏈接：https://item.jd.com/14517428.html