前言

環(huán)境：centos7.9、k8s 1.22.17、docker-ce-20.10.9
gpu資源也是服務(wù)器中常見的一種資源，gpu即顯卡，一般用在人工智能、圖文識別、大模型等領(lǐng)域，其中nvidia gpu是nvidia公司生產(chǎn)的nvidia類型的顯卡，amd gpu則是adm公司生產(chǎn)的amd類型gpu。企業(yè)中服務(wù)器最常見的就是英偉達gpu服務(wù)器了。
本篇也主要講解英偉達驅(qū)動相關(guān)的知識。

nvidia gpu驅(qū)動安裝

nvidia gpu驅(qū)動安裝只是涉及物理節(jié)點的驅(qū)動安裝，不涉及k8s，這里簡單講解一下gpu服務(wù)器如何安裝nvidia驅(qū)動。

環(huán)境確認、卸載nouveau

#查看服務(wù)器是否有g(shù)pu			
[root@gpu ~]# lspci | grep -i nvidia
0b:00.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1)
13:00.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1)
#查看服務(wù)器是否已經(jīng)安裝有g(shù)pu英偉達驅(qū)動
lsmod | grep  -i nvidia
#查看gpu型號、gpu驅(qū)動版本等,能列出信息說明驅(qū)動已經(jīng)安裝成功,沒有信息則說明還沒安裝驅(qū)動
nvidia-smi
#查看是否安裝有默認驅(qū)動,沒有跳過該步驟，有顯示內(nèi)容則說明安裝有默認驅(qū)動,需要卸載掉,不然會和nvidia沖突,卸載步驟如下
lsmod | grep nouveau					
centos6：vim /etc/modprobe.d/blacklist.conf
centos7：vim /usr/lib/modprobe.d/dist-blacklist.conf 
#centos 7直接使用命令修改
ls /usr/lib/modprobe.d/dist-blacklist.conf && echo $?
sed -i -e '/blacklist viafb/ablacklist nouveau' -e '/blacklist viafb/aoptions nouveau modeset=0' /usr/lib/modprobe.d/dist-blacklist.conf  && echo $?
echo "檢查是否修改成功：";grep  'nouveau' /usr/lib/modprobe.d/dist-blacklist.conf
#或者手動編輯文件亦可,在blacklist viafb等列的文件末尾添加下面兩句
blacklist nouveau
options nouveau modeset=0
#備份原來的鏡像,重新生成鏡像文件,可以臨時禁用,重啟,再次確認是否已經(jīng)禁用/卸載
mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img.bak
dracut /boot/initramfs-$(uname -r).img $(uname -r)
modprobe -r nouveau
reboot
lsmod | grep nouveau		

確認當前英偉達顯卡的型號

lspci  | grep -i nvidia		#復(fù)制下面的1eb8
0b:00.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1)
13:00.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1)打開網(wǎng)站查詢：https://admin.pci-ids.ucw.cz/read/PC/10de
拖到底部的查詢框輸出1eb8,點擊查詢即可,輸出顯示類似的如下信息即可得知gpu型號是Tesla T4
Name: TU104GL [Tesla T4]
Discussion
Name: TU104GL [Tesla T4]
T4CFantasy

下載nvidia驅(qū)動

英偉達驅(qū)動官網(wǎng):https://www.nvidia.cn/Download/index.aspx?lang=cn
在下拉列表中進行選擇,針對NVIDIA產(chǎn)品確定合適的驅(qū)動,這里我就這樣選擇:
產(chǎn)品類型:		Data Center / Tesla
產(chǎn)品系列:		T-Series
產(chǎn)品家族:		Tesla T4
操作系統(tǒng):		Linux 64-bit
CUDA Toolkit:	11.4
語言:			Chinese (Simplified)選擇好之后點擊搜索,顯示驅(qū)動的版本是:470.199.02,然后點擊下載即可,在產(chǎn)品支持列表中可以看到,我們選擇的這個470.199.02版本驅(qū)動其實還可以支持很多版本的顯卡,如下:
A-Series:
NVIDIA A800, NVIDIA A100, NVIDIA A40, NVIDIA A30, NVIDIA A16, NVIDIA A10, NVIDIA A2
RTX-Series:
RTX 8000, RTX 6000, NVIDIA RTX A6000, NVIDIA RTX A5000, NVIDIA RTX A4000, NVIDIA T1000, NVIDIA T600, NVIDIA T400
HGX-Series:
HGX A800, HGX A100
T-Series:
Tesla T4
V-Series:
Tesla V100
P-Series:
Tesla P100, Tesla P40, Tesla P6, Tesla P4
K-Series:
Tesla K80, Tesla K520
M-Class:
M60, M40 24GB, M40, M6, M4
所以,基本上470.199.02這個版本的驅(qū)動就可以支持Tesla T4、NVIDIA A800、NVIDIA A100、Tesla V100、Tesla P4等常見的顯卡.
注意:
選擇不同的CUDA下載的驅(qū)動包會不同,比如CUDA選擇的是11.4,搜索結(jié)果顯示的是驅(qū)動包是470.199.02
如果CUDA選擇的是11.6,搜索結(jié)果顯示的驅(qū)動包是510.108.03.
所以這個需要根據(jù)業(yè)務(wù)上支持的cuda版本來選擇下載對應(yīng)的顯卡驅(qū)動和cuda.

nvidia gpu驅(qū)動安裝

#將下載的gpu驅(qū)動文件上傳到服務(wù)器安裝即可
yum install gcc make -y
#直接安裝即可,視情況加參數(shù)
chmod a+x NVIDIA-Linux-x86_64-470.199.02.run
./NVIDIA-Linux-x86_64-470.199.02.run

gpu資源的使用限制

在k8s中，gpu資源的名稱叫做nvidia/gpu或者amd/gpu，其中是nvidaia公司的生產(chǎn)的nvidaia類型的gpu，后者是amd公司生產(chǎn)的amd類型gpu。
注意，目前對gpu的使用配置有如下限制：
1、gpu資源只能在limits字段設(shè)置，不可以僅指定 requests 而不指定 limits，可以同時指定 limits 和 requests，不過這兩個值必須相等，
2、可以指定 gpu 的 limits 而不指定其 requests，則pod默認將requests值等價于limits 值；
3、 pod中的容器之間是不共享 gpu 的，gpu 也不可以超量分配（注：cpu可以超量使用）；
4、每個容器可以請求一個或者多個 gpu，但是必須是整數(shù)，用小數(shù)值來請求部分 gpu 是不允許的。

安裝nvidia-docker（不推薦）

nvidia-docker是一個工具，用于在gpu啟用的Linux系統(tǒng)上運行Docker容器。它提供了一個命令行接口，使得在gpu上運行深度學(xué)習(xí)和機器學(xué)習(xí)任務(wù)的容器變得更為方便。通過使用nvidia-docker，可以輕松地配置和管理gpu容器環(huán)境，而無需手動安裝和配置各種依賴項。
nvidia-docker并不會與已經(jīng)安裝好的Docker沖突。nvidia-docker是一個額外的工具，用于在Docker中更方便地使用gpu，它與Docker共存并為其提供額外的功能。在安裝過程中，nvidia-docker會檢測系統(tǒng)是否安裝了Docker，并會自動地與Docker進行集成，以提供對gpu容器的支持。因此，安裝nvidia-docker后，可以繼續(xù)使用已經(jīng)安裝好的Docker工具，并能夠在Docker中更方便地使用gpu。
nvidia-docker屬于舊一代的工具，適用于docker19.3以下版本，目前，官方推薦使用nvidia-container-toolkit，這是github最新的支持方案，nvidia docker2已被nvidia container toolkits取代，所以更推薦使用nvidia container toolkits。

#以下僅顯示如何安裝nvidia-docker2，建議使用nvidia container toolkits
#復(fù)制一份原始的docker配置文件,nvidia-docker2安裝后會覆蓋原始的docker配置文件
cp /etc/docker/daemon.json /etc/docker/daemon.json.bak
#下載倉庫
wget   https://nvidia.github.io/nvidia-docker/centos7/x86_64/nvidia-docker.repo && mv nvidia-docker.repo  /etc/yum.repos.d/
或者 
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | \sudo tee /etc/yum.repos.d/nvidia-docker.repo#安裝nvidia-docker
#安裝的時候發(fā)現(xiàn)如下報錯,可能是鏡像倉庫不存在的問題,但是更新緩存之后又正常下載gpgkey,可以正常安裝
#報錯：https://nvidia.github.io/libnvidia-container/centos7/x86_64/repodata/repomd.xml: [Errno 14] HTTPS Error 404 - Not Found
yum makecache
yum search --showduplicates nvidia-docker
yum install  -y  nvidia-docker2
#安裝后發(fā)現(xiàn)docker配置文件被覆蓋了,所以手動修改還原
[root@gpu ~]# cd /etc/docker/
-rw-r--r-- 1 root root 136 Mar 31  2023 daemon.json
-rw-r--r-- 1 root root 119 Oct 11 23:28 daemon.json.rpmorig
[root@gpu docker]# cat daemon.json	#這個是nvidia-docker2后自動創(chuàng)建的
{"runtimes": {"nvidia": {"path": "nvidia-container-runtime","runtimeArgs": []}}
}
[root@gpu docker]# cat daemon.json.rpmorig 	#原始的docker配置文件
{"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]
}
# 最終的docker配置文件
[root@gpu docker]# cat daemon.json
{"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"],"default-runtime": "nvidia",			#新加一行,指定docker的默認運行時"runtimes": {"nvidia": {"path": "nvidia-container-runtime","runtimeArgs": []}}
}
#注：docker需要運行時為nvidia才能使用gpu,故設(shè)置默認運行時為nvidia
#重啟docker
[root@gpu docker]# systemctl  restart docker
#查看docker默認運行時
docker info | grep -i 'Default Runtime'
#驗證,能正常顯示gpu顯卡信息即說明成功
docker run --rm --runtime=nvidia nvidia/cuda:9.0-base nvidia-smi

安裝nvidia-container-toolkit（推薦）

#復(fù)制一份docker配置文件,以防被覆蓋
cp /etc/docker/daemon.json /etc/docker/daemon.json.bak
#根據(jù)官網(wǎng)步驟安裝nvidia-container-toolkit
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-with-yum-or-dnf
Configure the repository:
#下載倉庫
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
#安裝NVIDIA Container Toolkit
yum search --showduplicates nvidia-container-toolkit
yum install -y nvidia-container-toolkit
#配置容器運行時
#nvidia-ctk命令將會修改/etc/docker/daemon.json文件以便Docker可以使用nvidia容器運行時
nvidia-ctk runtime configure --runtime=docker
#實際上,上面nvidia-ctk命令是往/etc/docker/daemon.json文件追加了如下參數(shù)"runtimes": {"nvidia": {"args": [],"path": "nvidia-container-runtime"}}#重啟dockers
systemctl restart docker#測試容器中使用gpu
#使用下面的任意一條命令運行一個簡單的容器測試,可以正常顯卡的信息則說明配置成功
#--gpus N  表示分配多少gpu顯卡到容器,all表示全部gpu顯卡
#--runtime指定運行時為nvidia,要使用nvidia運行時才能正常使用gpu,當前默認運行時是runc
docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi
docker run --rm --runtime=nvidia nvidia/cuda:9.0-base nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.199.02   Driver Version: 470.199.02   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| gpu  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | gpu-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            Off  | 00000000:0B:00.0 Off |                    0 |
| N/A   34C    P0    25W /  70W |      0MiB / 15109MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Tesla T4            Off  | 00000000:13:00.0 Off |                    0 |
| N/A   35C    P0    26W /  70W |      0MiB / 15109MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+#修改docker默認運行時
#docker要使用nvidia運行時才能正常使用gpu,以上我們使用docker run命令臨時設(shè)置啟動容器的運行時,但在k8s中,kubelet調(diào)用docker,所以要將docker默認運行時設(shè)置為nvidia.
#查看當前docker默認運行時
docker info | grep -i 'Default Runtime'Default Runtime: runc
#修改docker默認運行時
vim /etc/docker/daemon.json 
{"exec-opts": ["native.cgroupdriver=systemd"],"default-runtime": "nvidia",		#設(shè)置默認運行時"runtimes": {"nvidia": {"args": [],"path": "nvidia-container-runtime"}}
}
#重啟docker并確認默認運行時生效                                          
systemctl  restart docker
docker info | grep -i 'Default Runtime'

k8s安裝nvidia-device-plugin插件

#查看節(jié)點資源情況
#這說明k8s節(jié)點沒有識別到gpu資源,即使當前節(jié)點有g(shù)pu資源
kubectl  describe  nodes  gpu 
Capacity:cpu:                40ephemeral-storage:  51175Mihugepages-1Gi:      0hugepages-2Mi:      0memory:             16417696Kipods:               110#k8s中要識別gpu資源，需要安裝nvidia-device-plugin插件,注冊分配gpu主要由device-plugin插件完成
#官網(wǎng):https://github.com/NVIDIA/k8s-device-plugin
wget https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.1/nvidia-device-plugin.yml
#vim nvidia-device-plugin.yml #該文件存在hostpath的卷,確認kubelet的安裝路徑正確
kubectl apply -f nvidia-device-plugin.yml
kubectl  get pod -n kube-system  | grep nvidia-device-plugin
#再次查看k8s的gpu節(jié)點資源情況就可以顯示gpu資源了
kubectl  describe  nodes gpu
...........
Capacity:cpu:                40ephemeral-storage:  51175Mihugepages-1Gi:      0hugepages-2Mi:      0memory:             16417696Kinvidia.com/gpu:     2				#2個gpu顯卡pods:               110

pod中使用gpu

#為gpu節(jié)點打標簽
kubectl  label  node gpu gpu-node=true
#創(chuàng)建pod測試
cat >>gpu-deploy.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:name: gpu-deployment
spec:replicas: 1selector:matchLabels:app: gputemplate:metadata:labels:app: gpuspec:containers:- name: gpu-containerimage: nvidia/cuda:9.0-basecommand: ["sleep"]args: ["100000"]resources:limits:nvidia.com/gpu: 1nodeSelector:gpu-node: "true"
EOF
kubectl  apply  -f gpu-deploy.yaml
#pod中正常顯示gpu顯卡信息,說明已經(jīng)可以正常使用gpu資源了
kubectl exec -it $(kubectl  get  pod  | grep gpu-deployment | awk '{print $1}')  -- nvidia-smi 
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.199.02   Driver Version: 470.199.02   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| gpu  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | gpu-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            Off  | 00000000:0B:00.0 Off |                    0 |
| N/A   27C    P8     8W /  70W |      0MiB / 15109MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
.........

k8s集群gpu虛擬化

#前面我們說過，分配的gpu資源必須是整數(shù)，如下，gpu-deployment中的資源gpu限制設(shè)置為0.5
resources:limits:nvidia.com/gpu: "0.5"
報錯:
# deployments.apps "gpu-deployment" was not valid:
# * spec.template.spec.containers[0].resources.limits[nvidia.com/gpu]: Invalid value: resource.Quantity{i:resource.int64Amount{value:5, scale:-1}, d:resource.infDecAmount{Dec:(*inf.Dec)(nil)}, s:"", Format:"DecimalSI"}: must be an integer
#在實際使用場景中,我們需要將gpu虛擬化以實現(xiàn)更小粒度的資源分配
#開源的虛擬化gpu解決方案https://github.com/AliyunContainerService/gpushare-scheduler-extender#1、部署gpu擴展器
kubectl create -f https://raw.githubusercontent.com/AliyunContainerService/gpushare-scheduler-extender/master/config/gpushare-schd-extender.yaml
#2、修改調(diào)度器scheduler,不同的k8s版本使用的配置文件不相同,選擇自己的k8s版本來部署
#2.1、適用于Kubernetes v1.23之前的版本
cd /etc/kubernetes
curl -O https://raw.githubusercontent.com/AliyunContainerService/gpushare-scheduler-extender/master/config/scheduler-policy-config.json
#復(fù)制一份備份
cp  /etc/kubernetes/manifests/kube-scheduler.yaml  /etc/kubernetes/kube-scheduler.yaml
#添加下面的command參數(shù)和掛載卷、掛載點參數(shù)
vim /etc/kubernetes/manifests/kube-scheduler.yaml
- --policy-config-file=/etc/kubernetes/scheduler-policy-config.json		
- mountPath: /etc/kubernetes/scheduler-policy-config.jsonname: scheduler-policy-configreadOnly: true
- hostPath:path: /etc/kubernetes/scheduler-policy-config.jsontype: FileOrCreatename: scheduler-policy-config#2.2、適用于Kubernetes v1.23+的版本（含v1.23）
kubectl create -f https://raw.githubusercontent.com/AliyunContainerService/gpushare-scheduler-extender/master/config/gpushare-schd-extender.yaml
cd /etc/kubernetes
curl -O https://raw.githubusercontent.com/AliyunContainerService/gpushare-scheduler-extender/master/config/scheduler-policy-config.yaml
#復(fù)制一份備份
cp  /etc/kubernetes/manifests/kube-scheduler.yaml  /etc/kubernetes/kube-scheduler.yaml
#添加下面的command參數(shù)和掛載卷、掛載點參數(shù)
vim /etc/kubernetes/manifests/kube-scheduler.yaml
- --config=/etc/kubernetes/scheduler-policy-config.yaml
- mountPath: /etc/kubernetes/scheduler-policy-config.yamlname: scheduler-policy-configreadOnly: true
- hostPath:path: /etc/kubernetes/scheduler-policy-config.yamltype: FileOrCreatename: scheduler-policy-config#3、部署gpu device-plugin
#如果之前部署過nvidia-device-plugin,請卸載,可使用kubectl delete ds -n kube-system nvidia-device-plugin-daemonset刪除
#為gpu節(jié)點打gpushare=true標簽,因為下面安裝的ds定義了節(jié)點標簽選擇器
kubectl label node <target_node> gpushare=true	
wget https://raw.githubusercontent.com/AliyunContainerService/gpushare-device-plugin/master/device-plugin-rbac.yaml
kubectl create -f device-plugin-rbac.yaml
# 默認情況下,GPU顯存以GiB為單位,若需要使用MiB為單位,需要在這個文件中,將--memory-unit=GiB修改為--memory-unit=MiB
wget https://raw.githubusercontent.com/AliyunContainerService/gpushare-device-plugin/master/device-plugin-ds.yaml
vim device-plugin-ds.yaml	#將--memory-unit=GiB修改為--memory-unit=MiB
kubectl create -f device-plugin-ds.yaml#4、安裝kubectl擴展
#安裝kubectl
curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.12.1/bin/linux/amd64/kubectl
chmod +x ./kubectl
sudo mv ./kubectl /usr/bin/kubectl
#安裝kubectl擴展
cd /usr/bin/
wget https://github.com/AliyunContainerService/gpushare-device-plugin/releases/download/v0.3.0/kubectl-inspect-gpushare
chmod u+x /usr/bin/kubectl-inspect-gpushare#查看gpu資源
kubectl  describe  nodes  master1  | grep -i -A10 'Capacity'
Capacity:aliyun.com/gpu-count:  2			#gpu資源aliyun.com/gpu-mem:    30218		#gpu資源,30218MiB,剛好是2張卡15109MiB相加之和#創(chuàng)建pod,可以正常創(chuàng)建
cat >gpu-deploy.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:name: gpu-deployment
spec:replicas: 1selector:matchLabels:app: gputemplate:metadata:labels:app: gpuspec:containers:- name: gpu-containerimage: nvidia/cuda:9.0-basecommand: ["sleep"]args: ["100000"]resources:limits:aliyun.com/gpu-mem: 14nodeSelector:gpu-node: "true"
EOF
#使用kubectl inspect gpushare命令查看gpu使用資源情況
[root@master1 data]# kubectl inspect gpushare	或kubectl inspect gpushare -d
NAME     IPADDRESS      GPU0(Allocated/Total)  GPU1(Allocated/Total)  GPU Memory(MiB)
master1  192.168.244.1  0/15109                0/15109                0/30218
------------------------------------------------------------------
Allocated/Total GPU Memory In Cluster:
0/30218 (0%)  
[root@master1 data]# 
#存在的問題
#ds中設(shè)置了--memory-unit=MiB參數(shù),那pod中的aliyun.com/gpu-mem的單位是什么,是GiB還是MiB
aliyun.com/gpu-mem:  20
#如果是G，設(shè)置為20,應(yīng)該是滿足資源的,如果是Mib,設(shè)置為15109MiB也應(yīng)該是滿足的呀,設(shè)置為14000MiB也應(yīng)該是滿足的
#但是就是一直報錯：Warning  FailedScheduling  3m44s  default-scheduler  0/1 nodes are available: 1 Insufficient GPU Memory in one device.
#為什么這里顯示one device