高并發(fā)系統(tǒng)設(shè)計：緩存、降級、限流、(熔斷)

在開發(fā)高并發(fā)系統(tǒng)時有三把利器用來保護系統(tǒng)：緩存、降級和限流。

非核心服務(wù)可以采用降級、熔斷，核心服務(wù)采用緩存和限流（隔離流量可以最大限度的保障業(yè)務(wù)無損）。

緩存

緩存比較好理解，在大型高并發(fā)系統(tǒng)中，如果沒有緩存數(shù)據(jù)庫將分分鐘被爆，系統(tǒng)也會瞬間癱瘓。使用緩存不單單能夠提升系統(tǒng)訪問速度、提高并發(fā)訪問量，也是保護數(shù)據(jù)庫、保護系統(tǒng)的有效方式。大型網(wǎng)站一般主要是“讀”，緩存的使用很容易被想到。在大型“寫”系統(tǒng)中，緩存也常常扮演者非常重要的角色。比如累積一些數(shù)據(jù)批量寫入，內(nèi)存里面的緩存隊列（生產(chǎn)消費），以及HBase寫數(shù)據(jù)的機制等等也都是通過緩存提升系統(tǒng)的吞吐量或者實現(xiàn)系統(tǒng)的保護措施。甚至消息中間件，你也可以認為是一種分布式的數(shù)據(jù)緩存。

降級

服務(wù)降級是當服務(wù)器壓力劇增的情況下，根據(jù)當前業(yè)務(wù)情況及流量對一些服務(wù)和頁面有策略的降級，以此釋放服務(wù)器資源以保證核心任務(wù)的正常運行。降級往往會指定不同的級別，面臨不同的異常等級執(zhí)行不同的處理。根據(jù)服務(wù)方式：可以拒接服務(wù)，可以延遲服務(wù)，也有時候可以隨機服務(wù)。根據(jù)服務(wù)范圍：可以砍掉某個功能，也可以砍掉某些模塊?？傊?wù)降級需要根據(jù)不同的業(yè)務(wù)需求采用不同的降級策略。主要的目的就是服務(wù)雖然有損但是總比沒有好。

限流

限流可以認為服務(wù)降級的一種，限流就是限制系統(tǒng)的輸入和輸出流量已達到保護系統(tǒng)的目的。一般來說系統(tǒng)的吞吐量是可以被測算的，為了保證系統(tǒng)的穩(wěn)定運行，一旦達到的需要限制的閾值，就需要限制流量并采取一些措施以完成限制流量的目的。比如：延遲處理，拒絕處理，或者部分拒絕處理等等。

常見的限流算法有：計數(shù)器、漏桶和令牌桶算法。

1. 計數(shù)器

計數(shù)器是最簡單粗暴的算法。比如某個服務(wù)最多只能每秒鐘處理100個請求。我們可以設(shè)置一個1秒鐘的滑動窗口，窗口中有10個格子，每個格子100毫秒，每100毫秒移動一次，每次移動都需要記錄當前服務(wù)請求的次數(shù)。內(nèi)存中需要保存10次的次數(shù)?？梢杂脭?shù)據(jù)結(jié)構(gòu)LinkedList來實現(xiàn)。格子每次移動的時候判斷一次，當前訪問次數(shù)和LinkedList中最后一個相差是否超過100，如果超過就需要限流了。

代碼示例：

//服務(wù)訪問次數(shù)，可以放在Redis中，實現(xiàn)分布式系統(tǒng)的訪問計數(shù)
Long counter = 0L;
//使用LinkedList來記錄滑動窗口的10個格子。
LinkedList<Long> ll = new LinkedList<Long>();
public static void main(String[] args)
{Counter counter = new Counter();counter.doCheck();
}private void doCheck()
{while (true){ll.addLast(counter);if (ll.size() > 10){ll.removeFirst();}//比較最后一個和第一個，兩者相差一秒if ((ll.peekLast() - ll.peekFirst()) > 100){//To limit rate}Thread.sleep(100);}
}

2. 漏桶算法

漏桶算法思路很簡單，水（請求）先進入到漏桶里，漏桶以一定的速度出水，當水流入速度過大會直接溢出，可以看出漏桶算法能強行限制數(shù)據(jù)的傳輸速率。

3. 令牌桶算法

令牌桶算法的基本過程如下：

1. 假如用戶配置的平均發(fā)送速率為r，則每隔1/r秒一個令牌被加入到桶中；
2. 假設(shè)桶最多可以存發(fā)b個令牌。如果令牌到達時令牌桶已經(jīng)滿了，那么這個令牌會被丟棄；
3. 當一個n個字節(jié)的數(shù)據(jù)包到達時，就從令牌桶中刪除n個令牌，并且數(shù)據(jù)包被發(fā)送到網(wǎng)絡(luò)；
4. 如果令牌桶中少于n個令牌，那么不會刪除令牌，并且認為這個數(shù)據(jù)包在流量限制之外；
5. 算法允許最長b個字節(jié)的突發(fā)，但從長期運行結(jié)果看，數(shù)據(jù)包的速率被限制成常量r。

對于在流量限制外的數(shù)據(jù)包可以以不同的方式處理：
它們可以被丟棄；
它們可以排放在隊列中以便當令牌桶中累積了足夠多的令牌時再傳輸；
它們可以繼續(xù)發(fā)送，但需要做特殊標記，網(wǎng)絡(luò)過載的時候?qū)⑦@些特殊標記的包丟棄。

漏桶和令牌桶的比較：

令牌桶可以在運行時控制和調(diào)整數(shù)據(jù)處理的速率，處理某時的突發(fā)流量。放令牌的頻率增加可以提升整體數(shù)據(jù)處理的速度，而通過每次獲取令牌的個數(shù)增加或者放慢令牌的發(fā)放速度和降低整體數(shù)據(jù)處理速度。而漏桶不行，因為它的流出速率是固定的，程序處理速度也是固定的。整體而言，令牌桶算法更優(yōu)，但是實現(xiàn)更為復雜一些。

熔斷

熔斷機制是應(yīng)對雪崩效應(yīng)的一種微服務(wù)鏈路保護機制，在互聯(lián)網(wǎng)系統(tǒng)中當下游的服務(wù)因為某種原因突然變得不可用或響應(yīng)過慢，上游服務(wù)為了保證自己整體服務(wù)的可用性，暫時不再繼續(xù)調(diào)用目標服務(wù)，直接快速返回失敗標志，快速釋放資源。如果目標服務(wù)情況好轉(zhuǎn)則恢復調(diào)用。

在這種模型下，服務(wù)調(diào)用方為每一個調(diào)用的服務(wù)維護一個有限狀態(tài)機，在這個狀態(tài)機會有三種狀態(tài)：關(guān)閉（調(diào)用遠程服務(wù)）、半打開（嘗試調(diào)用遠程服務(wù)）和打開（返回錯誤）。這三種狀態(tài)之間切換的過程如下：

• 當調(diào)用失敗的次數(shù)累積到一定的閾值時，熔斷機制從關(guān)閉態(tài)切換到打開態(tài)。一般在實現(xiàn)時，如果調(diào)用成功一次，就會重置調(diào)用失敗次數(shù)
• 當熔斷處于打開狀態(tài)時，我們會啟動一個計時器，當計時器超時后，狀態(tài)切換到半打開態(tài)。也可以通過設(shè)置一個定時器，定期的探測服務(wù)是否恢復
• 當熔斷處于半打開狀態(tài)時，請求可以達到后端服務(wù)，如果累計一定的成功次數(shù)后，狀態(tài)切換到關(guān)閉態(tài)；如果出現(xiàn)調(diào)用失敗的情況，則切換到打開態(tài)

參考文章：
https://blog.csdn.net/zhizhengguan/article/details/120814063
https://mp.weixin.qq.com/s/7zfdbf26aWX5Bma5F_lZAQ
https://mp.weixin.qq.com/s/3HGA6r8MpnAGuLHtEFk0rQ