K8S集群中Node節(jié)點(diǎn)資源不足導(dǎo)致Pod無法運(yùn)行的故障排查思路

Node節(jié)點(diǎn)資源不足可能會產(chǎn)生的故障

• 故障一：Pod數(shù)量太多超出物理節(jié)點(diǎn)的限制
• 每一臺Node節(jié)點(diǎn)中默認(rèn)限制最多運(yùn)行110個Pod資源，當(dāng)一個應(yīng)用程序有成百上千的Pod資源時，如果不擴(kuò)容Node節(jié)點(diǎn)或者修改最大Pod數(shù)量限制，那么就會導(dǎo)致部分Pod資源無法正常運(yùn)行，因?yàn)楣?jié)點(diǎn)已經(jīng)沒有資源可以被調(diào)度了。
• 解決思路就是擴(kuò)容Node節(jié)點(diǎn)數(shù)量或者修改Pod的數(shù)量限制
• 故障二：Pod配置的資源限額超出物理節(jié)點(diǎn)的最大使用率
• 由于Node節(jié)點(diǎn)資源有限，當(dāng)Pod設(shè)置的資源配額超出了Node節(jié)點(diǎn)所承受的極限，那么Pod將無法部署和運(yùn)行，會報(bào)錯沒有合適的Node節(jié)點(diǎn)可調(diào)度。
• 解決思路就是對資源限方面重新調(diào)整，適當(dāng)擴(kuò)展節(jié)點(diǎn)資源。

Node節(jié)點(diǎn)資源不足故障排查案例一

• 故障描述：

• Pod資源數(shù)量過多，超出節(jié)點(diǎn)調(diào)度Pod的數(shù)量。

• 當(dāng)Pod資源數(shù)量太多，已經(jīng)達(dá)到了Node節(jié)點(diǎn)默認(rèn)的110個Pod時，新創(chuàng)建的Pod資源會一直處于Pending狀態(tài)，并且大量的Pod會頻繁重啟。

• 排查思路：

• 首先查看Pod的詳細(xì)信息，重點(diǎn)觀察容忍的信息，通常情況下會看到下面的信息，從這個信息中我們就可以判斷出是由于節(jié)點(diǎn)資源上限從而引發(fā)的問題。

• Tolerations: node.kubernetes.io/not-ready:NoExecute op=Exists for 300s node.kubernetes.io/unreachable:NoExecute op=Exists for 300s 
  Events: <none>#正常的情況下下是沒有for 300s 提示的，這句話的意思是說300秒內(nèi)都沒有通過容忍調(diào)度在Node節(jié)點(diǎn)，產(chǎn)生了超時。
  

• 查看Node節(jié)點(diǎn)的詳細(xì)信息，如果是資源使用上限的問題，會看到如下的報(bào)錯信息。

• Warning SystemOOM 78s kubelet System OOM encountered, victim process: java, pid: 5879
  

• 通過在查看Node節(jié)點(diǎn)的詳細(xì)信息，可以看到Kubelet組件觸發(fā)了OOM機(jī)制，接下來去排查Kubelet。

• 38506 kubelet_pods.go:880] Unable to retrieve pull secret ms/registry-pull-secret for ms/eur...t succeed
  

• 從Kubelet的報(bào)錯日志中可以看到不能拉取secret資源，結(jié)合Pod中容忍提示的信息，最有可能出現(xiàn)的原因就是資源不夠用了。

• 排查Node節(jié)點(diǎn)中各項(xiàng)資源指標(biāo)的使用情況，CPU、內(nèi)存、磁盤。

• 都沒有問題后，在查看該Node節(jié)點(diǎn)中運(yùn)行了多少個Pod資源，如果超過110個，那么就可以定位問題了，每個Node節(jié)點(diǎn)默認(rèn)只允許運(yùn)行110個Pod，超出限制后無法調(diào)度。

• 解決方法就是修改默認(rèn)的Pod數(shù)量，但是也要根據(jù)機(jī)器硬件性能做出合理的調(diào)整。

Node節(jié)點(diǎn)資源不足故障排查案例二

• 故障描述：

• Pod一直處于Pending狀態(tài)。

• 排查過程：

• 查看Pod的詳細(xì)信息，可以獲得關(guān)鍵的信息。

• default-scheduler 0/3 nodes are available: 2 Insufficient memory, 2 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn"t tolerate.
  

• 從Pod的詳細(xì)信息中可以得知，3個節(jié)點(diǎn)中，沒有一個節(jié)點(diǎn)符合Pod的資源設(shè)置，其中有2個節(jié)點(diǎn)內(nèi)內(nèi)存不足和一個節(jié)點(diǎn)是Master，污點(diǎn)不能被容忍。

• 重新調(diào)整Pod的資源限制，或者擴(kuò)容物理節(jié)點(diǎn)的內(nèi)存即可解決。

-----------------------------------------------------------------------------------

offer突擊訓(xùn)練營簡介：

1：針對不知道怎么面試，面試沒有信心的小伙伴，我們會給你一個offer保障。

2：我們會監(jiān)督你15-20天內(nèi)把面試體系技術(shù)點(diǎn)掌握至少7成，這樣足夠你去找到滿意的工作了。

3：我們是面向面試學(xué)習(xí)指導(dǎo)，不會帶你們?nèi)懘a，會把項(xiàng)目真實(shí)開發(fā)的迭代過程和技術(shù)細(xì)節(jié)如何實(shí)現(xiàn)業(yè)務(wù)功能都詳細(xì)教清楚，你能在面試中流暢表達(dá)清楚就行了，項(xiàng)目經(jīng)驗(yàn)?zāi)悴挥脫?dān)心(技術(shù)老師提供的真實(shí)項(xiàng)目經(jīng)驗(yàn)肯定拿的出手)，自己學(xué)和別人帶著系統(tǒng)學(xué)，效率完全不一樣。

詳情請點(diǎn)擊這里：offer突擊訓(xùn)練營，給你一個offer的保障，求職跳槽的看過來！