一、Volumes

1、HostPath

【使用場(chǎng)景：容器目錄 掛載到 主機(jī)目錄】
【可以持久化到主機(jī)上】
將節(jié)點(diǎn)上的文件或目錄掛載到 Pod 上，此時(shí)該目錄會(huì)變成持久化存儲(chǔ)目錄，即使 Pod 被刪除后重啟，也可以重新加載到該目錄，該目錄下的文件不會(huì)丟失

配置文件

apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: nginxname: nginx-volumevolumeMounts: # 掛載數(shù)據(jù)卷- mountPath: /test-pd # 掛載到容器的哪個(gè)目錄name: test-volume # 掛載哪個(gè) volumevolumes: # 定義數(shù)據(jù)卷- name: test-volume # 數(shù)據(jù)卷名稱hostPath: # 與主機(jī)共享目錄，加載主機(jī)中的指定目錄到容器中path: /data # 節(jié)點(diǎn)中的目錄type: DirectoryOrCreate # 檢查類(lèi)型，在掛載前對(duì)掛載目錄做什么檢查操作，有多種選項(xiàng)，默認(rèn)為空字符串，不做任何檢查
#最終效果：容器的/test-pd目錄 掛載到 主機(jī)的/data目錄

type類(lèi)型：
空字符串：默認(rèn)類(lèi)型，不做任何檢查
DirectoryOrCreate：如果給定的 path 不存在，就創(chuàng)建一個(gè) 755 的空目錄
Directory：這個(gè)目錄必須存在
FileOrCreate：如果給定的文件不存在，則創(chuàng)建一個(gè)空文件，權(quán)限為 644
File：這個(gè)文件必須存在
Socket：UNIX 套接字，必須存在
CharDevice：字符設(shè)備，必須存在
BlockDevice：塊設(shè)備，必須存在

2、EmptyDir

【使用場(chǎng)景：pod中多個(gè)容器需要共享目錄，多個(gè)容器目錄 掛載到 pod目錄】
【不可以持久化，pod刪除，數(shù)據(jù)就丟失了】
EmptyDir 主要用于一個(gè) Pod 中不同的 Container 共享數(shù)據(jù)使用的，由于只是在 Pod 內(nèi)部使用，因此與其他 volume 比較大的區(qū)別是，當(dāng) Pod 如果被刪除了，那么 emptyDir 也會(huì)被刪除。

存儲(chǔ)介質(zhì)可以是任意類(lèi)型，如 SSD、磁盤(pán)或網(wǎng)絡(luò)存儲(chǔ)?？梢詫?emptyDir.medium 設(shè)置為 Memory 讓 k8s 使用 tmpfs（內(nèi)存支持文件系統(tǒng)），速度比較快，但是重啟 tmpfs 節(jié)點(diǎn)時(shí)，數(shù)據(jù)會(huì)被清除，且設(shè)置的大小會(huì)計(jì)入到 Container 的內(nèi)存限制中。

配置文件

apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: nginxname: nginx-emptydirvolumeMounts:- mountPath: /cachename: cache-volumevolumes:- name: cache-volumeemptyDir: {}

二、NFS 掛載

【使用場(chǎng)景：共享目錄，持久化數(shù)據(jù)】
nfs 卷能將 NFS (網(wǎng)絡(luò)文件系統(tǒng)) 掛載到你的 Pod 中。 不像 emptyDir 那樣會(huì)在刪除 Pod 的同時(shí)也會(huì)被刪除，nfs 卷的內(nèi)容在刪除 Pod 時(shí)會(huì)被保存，卷只是被卸載。 這意味著 nfs 卷可以被預(yù)先填充數(shù)據(jù)，并且這些數(shù)據(jù)可以在 Pod 之間共享。

1）安裝 nfs

# 安裝 nfs
yum install nfs-utils -y# 啟動(dòng) nfs
systemctl start nfs-server# 查看 nfs 版本
cat /proc/fs/nfsd/versions# 創(chuàng)建共享目錄
mkdir -p /data/nfs
cd /data/nfs
mkdir rw
mkdir ro# 設(shè)置共享目錄 export
vi /etc/exports
/data/nfs/rw 192.168.100.0/24(rw,sync,no_subtree_check,no_root_squash)
/data/nfs/ro 192.168.100.0/24(ro,sync,no_subtree_check,no_root_squash)# 重新加載
exportfs -f
systemctl reload nfs-server# 到其他測(cè)試節(jié)點(diǎn)安裝 nfs-utils 并加載測(cè)試
mkdir -p /mnt/nfs/rw
mount -t nfs 192.168.100.101:/data/nfs/rw /mnt/nfs/rw

配置文件:

apiVersion: v1
kind: Pod
metadata:name: ngs-test-pd1
spec:containers:- image: arm64v8/nginxname: test-containervolumeMounts:- mountPath: /my-nfs-dataname: test-volumevolumes:- name: test-volumenfs:server: 192.168.100.101 # 網(wǎng)絡(luò)存儲(chǔ)服務(wù)地址                                           path: /data/nfs/rw/www/wolfcode # 網(wǎng)絡(luò)存儲(chǔ)路徑           readOnly: false # 是否只讀

三、PV 與 PVC

1、 生命周期

1）構(gòu)建

• 靜態(tài)構(gòu)建：
  集群管理員創(chuàng)建若干 PV 卷。這些卷對(duì)象帶有真實(shí)存儲(chǔ)的細(xì)節(jié)信息， 并且對(duì)集群用戶可用（可見(jiàn)）。PV 卷對(duì)象存在于 Kubernetes API 中，可供用戶消費(fèi)（使用）。

• 動(dòng)態(tài)構(gòu)建：
  如果集群中已經(jīng)有的 PV 無(wú)法滿足 PVC 的需求，那么集群會(huì)根據(jù) PVC 自動(dòng)構(gòu)建一個(gè) PV，該操作是通過(guò) StorageClass 實(shí)現(xiàn)的。
  想要實(shí)現(xiàn)這個(gè)操作，前提是 PVC 必須設(shè)置 StorageClass，否則會(huì)無(wú)法動(dòng)態(tài)構(gòu)建該 PV，可以通過(guò)啟用 DefaultStorageClass 來(lái)實(shí)現(xiàn) PV 的構(gòu)建。

2）綁定
當(dāng)用戶創(chuàng)建一個(gè) PVC 對(duì)象后，主節(jié)點(diǎn)會(huì)監(jiān)測(cè)新的 PVC 對(duì)象，并且尋找與之匹配的 PV 卷，找到 PV 卷后將二者綁定在一起。

如果找不到對(duì)應(yīng)的 PV，則需要看 PVC 是否設(shè)置 StorageClass 來(lái)決定是否動(dòng)態(tài)創(chuàng)建 PV，若沒(méi)有配置，PVC 就會(huì)一致處于未綁定狀態(tài)，直到有與之匹配的 PV 后才會(huì)申領(lǐng)綁定關(guān)系。

3）使用
Pod 將 PVC 當(dāng)作存儲(chǔ)卷來(lái)使用，集群會(huì)通過(guò) PVC 找到綁定的 PV，并為 Pod 掛載該卷。

Pod 一旦使用 PVC 綁定 PV 后，為了保護(hù)數(shù)據(jù)，避免數(shù)據(jù)丟失問(wèn)題，PV 對(duì)象會(huì)受到保護(hù)，在系統(tǒng)中無(wú)法被刪除。

4）回收策略

保留（Retain）：
回收策略 Retain 使得用戶可以手動(dòng)回收資源。當(dāng) PersistentVolumeClaim 對(duì)象被刪除時(shí)，PersistentVolume 卷仍然存在，對(duì)應(yīng)的數(shù)據(jù)卷被視為"已釋放（released）"。 由于卷上仍然存在這前一申領(lǐng)人的數(shù)據(jù)，該卷還不能用于其他申領(lǐng)。 管理員可以通過(guò)下面的步驟來(lái)手動(dòng)回收該卷：

1. 刪除 PersistentVolume 對(duì)象。與之相關(guān)的、位于外部基礎(chǔ)設(shè)施中的存儲(chǔ)資產(chǎn) （例如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）在 PV 刪除之后仍然存在。
2. 根據(jù)情況，手動(dòng)清除所關(guān)聯(lián)的存儲(chǔ)資產(chǎn)上的數(shù)據(jù)。
3. 手動(dòng)刪除所關(guān)聯(lián)的存儲(chǔ)資產(chǎn)。
4. 如果你希望重用該存儲(chǔ)資產(chǎn)，可以基于存儲(chǔ)資產(chǎn)的定義創(chuàng)建新的 PersistentVolume 卷對(duì)象。

刪除（Delete）:
對(duì)于支持 Delete 回收策略的卷插件，刪除動(dòng)作會(huì)將 PersistentVolume 對(duì)象從 Kubernetes 中移除，同時(shí)也會(huì)從外部基礎(chǔ)設(shè)施（如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）中移除所關(guān)聯(lián)的存儲(chǔ)資產(chǎn)。 動(dòng)態(tài)制備的卷會(huì)繼承其 StorageClass 中設(shè)置的回收策略， 該策略默認(rèn)為 Delete。管理員需要根據(jù)用戶的期望來(lái)配置 StorageClass； 否則 PV 卷被創(chuàng)建之后必須要被編輯或者修補(bǔ)。

回收（Recycle）:
警告： 回收策略 Recycle 已被廢棄。取而代之的建議方案是使用動(dòng)態(tài)制備。

如果下層的卷插件支持，回收策略 Recycle 會(huì)在卷上執(zhí)行一些基本的擦除 （rm -rf /thevolume/*）操作，之后允許該卷用于新的 PVC 申領(lǐng)。

2、 PV

配置文件:

apiVersion: v1
kind: PersistentVolume
metadata:name: pv0001
spec:capacity:storage: 5Gi # pv 的容量volumeMode: Filesystem # 存儲(chǔ)類(lèi)型為文件系統(tǒng)accessModes: # 訪問(wèn)模式：ReadWriteOnce、ReadWriteMany、ReadOnlyMany- ReadWriteOnce # 可被單節(jié)點(diǎn)獨(dú)寫(xiě)persistentVolumeReclaimPolicy: Recycle # 回收策略storageClassName: slow # 創(chuàng)建 PV 的存儲(chǔ)類(lèi)名，需要與 pvc 的相同mountOptions: # 加載配置- hard- nfsvers=4.1nfs: # 連接到 nfspath: /data/nfs/rw/test-pv # 存儲(chǔ)路徑server: 192.168.100.101 # nfs 服務(wù)地址

STATUS:
Available：空閑，未被綁定
Bound：已經(jīng)被 PVC 綁定
Released：PVC 被刪除，資源已回收，但是 PV 未被重新使用
Failed：自動(dòng)回收失敗

3、 PVC

PVC配置文件

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: nfs-pvc
spec:accessModes:- ReadWriteOnce # 權(quán)限需要與對(duì)應(yīng)的 pv 相同volumeMode: Filesystemresources:requests:storage: 5Gi # 資源可以小于 pv 的，但是不能大于，如果大于就會(huì)匹配不到 pvstorageClassName: slow # 名字需要與對(duì)應(yīng)的 pv 相同
#  selector: # 使用選擇器精確選擇對(duì)應(yīng)的 pv
#    matchLabels:
#      release: "stable"
#    matchExpressions:
#      - {key: environment, operator: In, values: [dev]}

Pod 綁定 PVC

# 在 pod 的掛載容器配置中，增加 pvc 掛載
containers:......volumeMounts:- mountPath: /tmp/pvc # 掛載到容器的目標(biāo)目錄name: nfs-pvc-test # 掛載到哪個(gè)存儲(chǔ)卷
volumes:- name: nfs-pvc-test # 存儲(chǔ)卷名稱persistentVolumeClaim: # 關(guān)聯(lián)pvcclaimName: nfs-pvc # pvc的名稱

4、 StorageClass

制備器（Provisioner）

每個(gè) StorageClass 都有一個(gè)制備器（Provisioner），用來(lái)決定使用哪個(gè)卷插件制備 PV。

NFS 動(dòng)態(tài)制備案例

Kubernetes集群中NFS類(lèi)型的存儲(chǔ)沒(méi)有內(nèi)置 Provisioner。但是你可以在集群中為NFS手動(dòng)配置外部Provisioner。
1）Provisioner制備器配置(NFS類(lèi)型)
nfs-provisioner-deploment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:name: nfs-client-provisionernamespace: kube-systemlabels:app: nfs-client-provisioner
spec:replicas: 1strategy:type: Recreateselector:matchLabels:app: nfs-client-provisionertemplate:metadata:labels:app: nfs-client-provisionerspec:serviceAccountName: nfs-client-provisionercontainers:- name: nfs-client-provisioner# 官方不支持SelfLink了，導(dǎo)致一直P(pán)ending#image: quay.io/external_storage/nfs-client-provisioner:latest# 用這個(gè)國(guó)內(nèi)鏡像image: registry.cn-beijing.aliyuncs.com/pylixm/nfs-subdir-external-provisioner:v4.0.0imagePullPolicy: IfNotPresentvolumeMounts:- name: nfs-client-rootmountPath: /persistentvolumesenv:- name: PROVISIONER_NAMEvalue: fuseim.pri/ifs- name: NFS_SERVERvalue: 192.168.100.101- name: NFS_PATHvalue: /data/nfs/rwvolumes:- name: nfs-client-rootnfs:server: 192.168.100.101path: /data/nfs/rw

2）StorageClass 存儲(chǔ)類(lèi)配置
nfs-storage-class.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: managed-nfs-storagenamespace: kube-system
provisioner: fuseim.pri/ifs # 外部制備器提供者，編寫(xiě)為提供者的名稱
parameters:archiveOnDelete: "false" # 是否存檔，false 表示不存檔，會(huì)刪除 oldPath 下面的數(shù)據(jù)，true 表示存檔，會(huì)重命名路徑
reclaimPolicy: Retain # 回收策略，默認(rèn)為 Delete 可以配置為 Retain
volumeBindingMode: Immediate # 默認(rèn)為 Immediate，表示創(chuàng)建 PVC 立即進(jìn)行綁定，只有 azuredisk 和 AWSelasticblockstore 支持其他值

3）RBAC 配置
nfs-provisioner-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:name: nfs-client-provisionernamespace: kube-system
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: nfs-client-provisioner-runnernamespace: kube-system
rules:- apiGroups: [""]resources: ["persistentvolumes"]verbs: ["get", "list", "watch", "create", "delete"]- apiGroups: [""]resources: ["persistentvolumeclaims"]verbs: ["get", "list", "watch", "update"]- apiGroups: ["storage.k8s.io"]resources: ["storageclasses"]verbs: ["get", "list", "watch"]- apiGroups: [""]resources: ["events"]verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: run-nfs-client-provisionernamespace: kube-system
subjects:- kind: ServiceAccountname: nfs-client-provisionernamespace: default
roleRef:kind: ClusterRolename: nfs-client-provisioner-runnerapiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: leader-locking-nfs-client-provisionernamespace: kube-system
rules:- apiGroups: [""]resources: ["endpoints"]verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: leader-locking-nfs-client-provisionernamespace: kube-system
subjects:- kind: ServiceAccountname: nfs-client-provisioner
roleRef:kind: Rolename: leader-locking-nfs-client-provisionerapiGroup: rbac.authorization.k8s.io

4）使用 pvc模板, 創(chuàng)建應(yīng)用測(cè)試動(dòng)態(tài)添加PV

---
apiVersion: v1
kind: Service
metadata:name: nginx-sclabels:app: nginx-sc
spec:type: NodePortports:- name: webport: 80protocol: TCPselector:app: nginx-sc
---
apiVersion: apps/v1
kind: StatefulSet
metadata:name: nginx-sc
spec:replicas: 1serviceName: "nginx-sc"selector:matchLabels:app: nginx-sctemplate:metadata:labels:app: nginx-scspec:containers:- image: arm64v8/nginxname: nginx-scimagePullPolicy: IfNotPresentvolumeMounts:- mountPath:  /usr/share/nginx/html # 掛載到容器到哪個(gè)目錄name: nginx-sc-test-pvc # 掛載哪個(gè)volumevolumeClaimTemplates: # PVC模板：幫你創(chuàng)建出pvc和pv- metadata:name: nginx-sc-test-pvcspec:storageClassName: managed-nfs-storage # sc存儲(chǔ)類(lèi)名字accessModes:- ReadWriteManyresources:requests:storage: 1Gi # 聲明至少需要1G資源

問(wèn)題：PVC 處于 Pending 狀態(tài)
原因：在 k8s 1.20 之后，出于對(duì)性能和統(tǒng)一 apiserver 調(diào)用方式的初衷，移除了對(duì) SelfLink 的支持，而默認(rèn)上面指定的 provisioner 版本需要 SelfLink 功能，因此 PVC 無(wú)法進(jìn)行自動(dòng)制備。

解決方案：
1）配置 SelfLink修改 apiserver 配置文件
vim /etc/kubernetes/manifests/kube-apiserver.yamlspec:containers:- command:- kube-apiserver- --feature-gates=RemoveSelfLink=false # 新增該行......修改后重新應(yīng)用該配置
kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml2）不需要 SelfLink 的 provisioner 【推薦】
將 provisioner 修改為如下鏡像之一即可
官方鏡像：gcr.io/k8s-staging-sig-storage/nfs-subdir-external-provisioner:v4.0.0
國(guó)內(nèi)鏡像：registry.cn-beijing.aliyuncs.com/pylixm/nfs-subdir-external-provisioner:v4.0.0

Kubernetes 動(dòng)態(tài)分配存儲(chǔ)卷之 NFS-Subdir-External-Provisioner

PVC 測(cè)試配置

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: auto-pv-test-pvc
spec:accessModes:- ReadWriteOnceresources:requests:storage: 300MistorageClassName: managed-nfs-storage