在 Kubernetes 集群中，etcd 是一個分布式鍵值存儲，它保存著整個集群的狀態(tài)，包括節(jié)點、Pod、ConfigMap、Secrets 等關(guān)鍵信息。因此，定期對 etcd 進(jìn)行備份是非常重要的，特別是在集群發(fā)生故障或需要恢復(fù)數(shù)據(jù)的情況下。本文將介紹如何備份和恢復(fù) Kubernetes 中的 etcd 數(shù)據(jù)。

一、備份 ETCD 數(shù)據(jù)

Kubernetes 集群使用的 etcd 通常運行在控制平面節(jié)點上?？梢酝ㄟ^ etcdctl 工具來備份 etcd 數(shù)據(jù)。

1. 安裝 etcdctl

如果 etcdctl 沒有安裝，可以使用以下命令安裝 etcdctl 工具：

sudo apt-get install etcd-client

或者從 官方 GitHub 下載適合你的系統(tǒng)版本的 etcdctl。

2. 確認(rèn) ETCD 環(huán)境變量

在控制平面節(jié)點上，etcd 的 API 通過 HTTPS 進(jìn)行保護(hù)。因此，你需要指定一系列證書文件和 etcd 服務(wù)的端點。

export ETCDCTL_API=3
export ETCDCTL_ENDPOINTS=https://127.0.0.1:2379
export ETCDCTL_CACERT=/etc/kubernetes/pki/etcd/ca.crt
export ETCDCTL_CERT=/etc/kubernetes/pki/etcd/server.crt
export ETCDCTL_KEY=/etc/kubernetes/pki/etcd/server.key

其中：

• ETCDCTL_API=3：使用 etcd v3 API。
• ETCDCTL_ENDPOINTS：etcd 監(jiān)聽的端口，通常為 127.0.0.1:2379。
• ETCDCTL_CACERT、ETCDCTL_CERT 和 ETCDCTL_KEY：分別為 CA 證書、服務(wù)證書和服務(wù)密鑰路徑。

3. 創(chuàng)建 etcd 備份

執(zhí)行以下命令來創(chuàng)建 etcd 數(shù)據(jù)的快照文件：

ETCDCTL_API=3 etcdctl --endpoints=${ETCDCTL_ENDPOINTS} \--cacert=${ETCDCTL_CACERT} --cert=${ETCDCTL_CERT} --key=${ETCDCTL_KEY} \snapshot save /path/to/backup/etcd-snapshot.db

示例：

ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \--cacert=/etc/kubernetes/pki/etcd/ca.crt \--cert=/etc/kubernetes/pki/etcd/server.crt \--key=/etc/kubernetes/pki/etcd/server.key \snapshot save /var/backups/etcd-snapshot-$(date +%Y-%m-%d).db

這個命令會生成一個快照文件（例如：etcd-snapshot-2024-10-12.db），包含當(dāng)前 etcd 的所有數(shù)據(jù)。
使用變量有可能提示變量沖突，最好使用–cacert=/etc/kubernetes/pki/etcd/ca.crt 這個非變量模式執(zhí)行。

我是從kube-apiserver啟動中找到etcd證書變量參數(shù)，然后導(dǎo)出來的。

4. 驗證備份

備份完成后，可以通過以下命令驗證備份文件的有效性：

ETCDCTL_API=3 etcdctl --write-out=table snapshot status /path/to/backup/etcd-snapshot.db

輸出示例：

+---------+----------+------------+------------+
|   HASH  |  VERSION  |  TOTAL KEYS  |  DB SIZE  |
+---------+----------+------------+------------+
| abcd... |   3.4.13  |   10000     |   4.2 MB  |
+---------+----------+------------+------------+

5. 定期備份

你可以使用 cron 來定期備份 etcd 數(shù)據(jù)。例如，每天凌晨備份一次：

0 2 * * * root ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \--cacert=/etc/kubernetes/pki/etcd/ca.crt \--cert=/etc/kubernetes/pki/etcd/server.crt \--key=/etc/kubernetes/pki/etcd/server.key \snapshot save /var/backups/etcd-snapshot-$(date +%Y-%m-%d).db

二、恢復(fù) ETCD 數(shù)據(jù)

在 etcd 數(shù)據(jù)損壞或需要將集群恢復(fù)到某個時間點時，你可以通過備份文件恢復(fù) etcd 數(shù)據(jù)。

1. 停止 Kubernetes 控制平面組件

在恢復(fù) etcd 之前，必須先停止 Kubernetes 控制平面上的組件，包括 kube-apiserver、kube-controller-manager 和 kube-scheduler。

使用以下命令在控制平面節(jié)點上停止這些服務(wù)：

sudo systemctl stop kube-apiserver
sudo systemctl stop kube-controller-manager
sudo systemctl stop kube-scheduler

2. 恢復(fù) etcd 快照

執(zhí)行以下命令，將 etcd 恢復(fù)到某個快照：

ETCDCTL_API=3 etcdctl --endpoints=${ETCDCTL_ENDPOINTS} \--cacert=${ETCDCTL_CACERT} --cert=${ETCDCTL_CERT} --key=${ETCDCTL_KEY} \snapshot restore /path/to/backup/etcd-snapshot.db \--data-dir=/var/lib/etcd

示例：

ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \--cacert=/etc/kubernetes/pki/etcd/ca.crt \--cert=/etc/kubernetes/pki/etcd/server.crt \--key=/etc/kubernetes/pki/etcd/server.key \snapshot restore /var/backups/etcd-snapshot-2024-10-12.db \--data-dir=/var/lib/etcd

--data-dir 選項指定 etcd 數(shù)據(jù)存儲的目錄，通常是 /var/lib/etcd。

3. 更新 etcd 配置文件

在某些情況下，你可能需要修改 etcd 配置文件以確保其指向正確的 data-dir 和集群配置。/etc/kubernetes/manifests/etcd.yaml 通常是 etcd 的配置文件所在位置。

4. 啟動控制平面組件

恢復(fù) etcd 數(shù)據(jù)后，重新啟動控制平面組件：

sudo systemctl start kube-apiserver
sudo systemctl start kube-controller-manager
sudo systemctl start kube-scheduler

5. 驗證恢復(fù)

恢復(fù)完成后，檢查 etcd 和 Kubernetes 集群的狀態(tài)：

kubectl get nodes
kubectl get pods -n kube-system

確保集群恢復(fù)正常工作，節(jié)點和 Pod 的狀態(tài)為 Ready。

三、備份與恢復(fù)的注意事項

1. 備份頻率：建議定期備份 etcd，并根據(jù)集群的重要性和數(shù)據(jù)變化頻率確定備份頻率。生產(chǎn)環(huán)境中的集群建議每日備份。
2. 備份位置：將備份文件存儲在安全的地方，可以考慮遠(yuǎn)程存儲或云端存儲。
3. 多節(jié)點集群的恢復(fù)：如果是高可用的多節(jié)點 etcd 集群，恢復(fù)時需要對所有 etcd 節(jié)點進(jìn)行操作，確保數(shù)據(jù)一致性。
4. 測試恢復(fù)流程：定期在非生產(chǎn)環(huán)境中測試備份與恢復(fù)流程，確保在真正故障時能夠快速、無誤地恢復(fù)集群。

通過定期備份 etcd 并掌握正確的恢復(fù)方法，你可以確保 Kubernetes 集群的高可用性和數(shù)據(jù)安全性，即使在發(fā)生故障時，也能迅速恢復(fù)集群狀態(tài)。