實施 SRE 工程，守護系統(tǒng)的可靠性是一個?期的工作，需要開發(fā)、測試、運維以及 SRE 整個團隊的努力。而可觀測性平臺天生就是為 SRE 工程服務的，它致力于實現(xiàn) SLO 目標。建立可觀測性不僅僅是運維團隊的事情，更是整個開發(fā)、測試以及 SRE 團隊的事情，這是全團隊的工作。

1、開發(fā)團隊

從數(shù)據采集的埋點開始，開發(fā)團隊就必須為可觀測性負責，因為整個產品、服務和組件都是這個系統(tǒng)的開發(fā)人員構建的，沒有人比開發(fā)本身更了解這個系統(tǒng)，更能知道系統(tǒng)在運行狀態(tài)下該暴露哪些指標、日志和鏈路追蹤等遙測數(shù)據。雖然可觀測性平臺的 Agent 做了很多自動化的工作，但仍然需要開發(fā)人員將屬于自己組件特性的遙測數(shù)據有效地暴露出來。

2、運維團隊

運維團隊是很多企業(yè)中的基礎設施團隊，也是 SRE 工程中重要的一環(huán)。在建立可觀測性時，更需要注重下面這幾個領域的工作。

• 構建與管理包括云平臺、Kubernetes 集群、CI/CD、Git 環(huán)境、研發(fā)任務管理平臺、文檔中心等一系列的面向公司內部開發(fā)者的基礎環(huán)境。定義測試環(huán)境、預發(fā)驗證環(huán)境和生產環(huán)境。
• 充分和合理地利用云原生的特性。例如，使用云計算服務意味著你將一部分的 SRE 工程交給了云廠商，可以充分利用優(yōu)秀云廠商提供的服務能力和水平；Kubernetes 已經成為了分布式集群事實上的操作系統(tǒng)，而云原生標準下的組件都實現(xiàn)了可觀測性的支持，接入云原生組件可以降低構建可觀測性的成本。
• 盡可能地收集所有組件系統(tǒng)的所有相關面的基礎數(shù)據。組件包括云、主機、容器、Kubernetes 集群、應用、各種終端，相關面是指性能、網絡、安全、容量，基礎數(shù)據包括指標、日志、鏈路。實時收集數(shù)據的成本并不高，但如果沒有收集，一旦系統(tǒng)故障，在需要排查分析問題的時候，就無法有效評估當時的狀態(tài)了。
• 設置相關的監(jiān)控告警。運維團隊應該和開發(fā)團隊合作，對產品和服務重要的指標建立告警，包括一些低優(yōu)先級的監(jiān)控告警。這樣做的目的是在最終用戶的使用體驗真正受到影響之前，優(yōu)先得知系統(tǒng)中潛在的問題，提前進行分析定位，及時修復。

3、測試團隊

此外，測試團隊也需要加入到可觀測性的建立當中來，測試團隊要做的更多的是對產品和功能的理解，他們需要通過可觀測性及時發(fā)現(xiàn)每一次新功能和新版本發(fā)布的問題，并及時反饋給開發(fā)（例如代碼質量問題或產品 Bug）或運維團隊（例如有關基礎設施的問題）。

而另一方面，測試團隊會通過對系統(tǒng)進行壓測、引入混沌工程等操作進一步驗證系統(tǒng)的可靠性，提升系統(tǒng)質量。這時候，測試人員更加需要借助可觀測平臺了解系統(tǒng)的基線狀態(tài)，搞清現(xiàn)場執(zhí)行情況與預期存在偏差的原因，甚至發(fā)現(xiàn)之前可能根本就無法預料到的問題，從而對系統(tǒng)進行優(yōu)化和完善。

4、SRE 團隊

在有的企業(yè)，會設立專門的 SRE 團隊，而在有些企業(yè)，這并不是一個固定的崗位，而是多個崗位之間的協(xié)同。從建立可觀測的角度來說，SRE 團隊需要能夠完成下面這些工作。

• 構建和實施軟件，提高系統(tǒng)和服務的可靠性。例如，建立自動化評估系統(tǒng)的 SLO 狀態(tài)，而不是手工根據一個清單來一一對照。建立可觀測，包括各維度的監(jiān)測、告警等，隨時明確地知道 SLO 的滿足情況。
• On Call 支持。在如今云原生的時代，期望系統(tǒng) 100% 沒有問題是不現(xiàn)實的。出現(xiàn)故障時，我們需要快速找到根本原因。把 SRE 工程師加入到 On Call 支持團隊，能讓他們了解應用有什么樣的問題、如何解決這些問題以及該如何改進（例如，告警是否提供了足夠的信息，問題的分析是否足夠高效等等）。
• 事后的分析和復盤也很重要。這也是持續(xù)改進，逐漸提高系統(tǒng)可靠性的重要一環(huán)。每次未被觀測的故障都是進一步提升可觀測范圍的絕佳機會。

系統(tǒng)的可觀測性也需要持續(xù)優(yōu)化和改進。針對整個系統(tǒng)的可觀測，包括數(shù)據收集和分析、監(jiān)測和告警構建、標簽體系建立等等都需要時間。

此文章為3月Day9?學習筆記，內容來源于極客時間《深入淺出可觀測性》，推薦該課程。