對于緩存，我們主要關(guān)心兩個：緩存的命中率，數(shù)據(jù)的一致性。由此又會有一些緩存引起的問題，緩存擊穿、穿透、雪崩。對于這些問題也是我們在使用緩存時不得不考慮的 。這些問題的解決方案也有很多。這里簡單列舉幾個：

（1）針對無效數(shù)據(jù)穿透，多級攔截：

無效數(shù)據(jù)，空數(shù)據(jù)，進(jìn)行多種手段攔截，如布隆過濾器、業(yè)務(wù)參數(shù)有效性判斷、緩存空值等等。多種手段攔截就是讓流量最后無法穿透到最薄弱的底層服務(wù)。

（2）針對高并發(fā)熱點(diǎn)key擊穿，兩階段失效：

對于高并發(fā)的熱點(diǎn)key，做邏輯和物理兩階段失效策略，邏輯失效前端響應(yīng)仍然立即返回，僅異步排隊(duì)去底層服務(wù)或DB獲取數(shù)據(jù)并刷新緩存。

（3）緩存降級，限流排隊(duì)，多級緩存：

緩存由于各種原因不可用，如果無任何措施，勢必會出現(xiàn)雪崩的現(xiàn)象，為了盡可能保證業(yè)務(wù)服務(wù)可用或者部分可用，則必須對緩存允許降級，即便緩存中間件連接異常，宕機(jī)等，仍然可以去底層的服務(wù)和DB獲取數(shù)據(jù)，常用手段一般是二級、甚至三級緩存，最后就是加鎖排隊(duì)訪問底層服務(wù)。

（4）失效時間隨機(jī)

往往熱key都是在同一個時間點(diǎn)（短暫的時間段）創(chuàng)建的，如果固定有效時長，則失效將在同一個時間點(diǎn)，當(dāng)失效發(fā)生時，雪崩的可能性很大。在業(yè)務(wù)要求的失效時間點(diǎn)上，加上隨機(jī)時長（范圍），可以分散熱key失效時間點(diǎn)。







緩存擊穿、穿透和雪崩是與緩存相關(guān)的常見問題。它們是在使用緩存時可能遇到的一些挑戰(zhàn)和風(fēng)險(xiǎn)。下面是對這些問題的解釋以及相應(yīng)的實(shí)際例子：

1.緩存擊穿： 緩存擊穿指的是在緩存中不存在但是頻繁被請求的數(shù)據(jù)，導(dǎo)致請求繞過緩存直接訪問數(shù)據(jù)庫或其他數(shù)據(jù)源，增加了后端負(fù)載。這通常發(fā)生在緩存中的數(shù)據(jù)過期或被刪除時。

例子：假設(shè)一個電子商務(wù)網(wǎng)站的商品詳情頁被頻繁訪問，并且每次訪問都會從數(shù)據(jù)庫中獲取商品信息。如果某個商品的緩存過期，而此時有大量用戶請求該商品的詳情頁，這些請求將繞過緩存直接訪問數(shù)據(jù)庫，導(dǎo)致數(shù)據(jù)庫負(fù)載過高。

1.緩存穿透： 緩存穿透指的是請求的數(shù)據(jù)在緩存和數(shù)據(jù)源中都不存在，這將導(dǎo)致每次請求都需要訪問數(shù)據(jù)源，增加了后端負(fù)載。這通常是由于惡意或無效的請求導(dǎo)致的。

例子：假設(shè)一個新聞網(wǎng)站允許用戶根據(jù)新聞ID獲取新聞內(nèi)容。如果有惡意用戶通過構(gòu)造不存在的新聞ID來頻繁請求新聞內(nèi)容，而這些請求都無法命中緩存或找到相應(yīng)的數(shù)據(jù)，每次請求都需要訪問數(shù)據(jù)庫，造成了無謂的資源浪費(fèi)。

1.緩存雪崩： 緩存雪崩指的是緩存中大量的數(shù)據(jù)同時過期或失效，導(dǎo)致大量請求直接訪問數(shù)據(jù)源，造成后端系統(tǒng)的壓力過大甚至崩潰。

例子：假設(shè)一個電商網(wǎng)站的商品列表頁的緩存時間都設(shè)置為相同的時間，當(dāng)緩存過期時，大量用戶同時請求商品列表頁，這些請求將直接訪問數(shù)據(jù)庫，導(dǎo)致數(shù)據(jù)庫負(fù)載激增，甚至可能導(dǎo)致數(shù)據(jù)庫崩潰。

為了解決這些問題，可以采取以下措施：

?對于緩存擊穿，可以通過在緩存中設(shè)置短暫的過期時間或使用互斥鎖的方式來避免。當(dāng)某個數(shù)據(jù)過期時，只允許一個請求去重新加載數(shù)據(jù)到緩存中，其他請求等待。

?對于緩存穿透，可以在緩存中設(shè)置一個特殊的值，表示數(shù)據(jù)不存在，并將該值緩存一段時間。這樣，當(dāng)惡意請求到來時，可以直接從緩存中返回這個特殊值，而不需要訪問數(shù)據(jù)源。

?對于緩存雪崩，可以采用多級緩存、緩存數(shù)據(jù)的不同過期時間或使用熱點(diǎn)數(shù)據(jù)預(yù)加載等策略。這樣可以減少緩存同時失效的概率，分散請求對后端系統(tǒng)的沖擊。

需要根據(jù)具體情況和使用的緩存系統(tǒng)來選擇合適的解決方案。









布隆過濾器（Bloom Filter）



是一種空間效率很高的概率型數(shù)據(jù)結(jié)構(gòu)，用于判斷一個元素是否屬于一個集合。它通過使用多個哈希函數(shù)和位數(shù)組來判斷元素是否存在，可以快速地進(jìn)行查找和過濾。

以下是一個簡單的布隆過濾器的示例代碼：

python

CopyReplace

import mmh3from bitarray import bitarray
classBloomFilter:def__init__(self, size, hash_functions):self.size = sizeself.hash_functions = hash_functionsself.bit_array = bitarray(size)self.bit_array.setall(0)defadd(self, item):for fn in self.hash_functions:index = mmh3.hash(item, fn)% self.sizeself.bit_array[index]=1defcontains(self, item):for fn in self.hash_functions:index = mmh3.hash(item, fn)% self.sizeif self.bit_array[index]==0:returnFalsereturnTrue
# 創(chuàng)建一個布隆過濾器實(shí)例
size =10  # 位數(shù)組的大小
hash_functions =[1,2,3]  # 哈希函數(shù)的數(shù)量
bloom_filter = BloomFilter(size, hash_functions)
# 添加元素到布隆過濾器
bloom_filter.add("apple")
bloom_filter.add("banana")
bloom_filter.add("orange")
# 檢查元素是否存在于布隆過濾器print(bloom_filter.contains("apple"))  # 輸出: Trueprint(bloom_filter.contains("grape"))  # 輸出: False

在這個示例中，BloomFilter類表示布隆過濾器。在初始化過程中，我們指定了位數(shù)組的大小和哈希函數(shù)的數(shù)量。bitarray庫用于創(chuàng)建位數(shù)組，并使用mmh3哈希函數(shù)庫來生成哈希值。

add方法用于將元素添加到布隆過濾器中。它使用每個哈希函數(shù)對元素進(jìn)行哈希，并將對應(yīng)的位數(shù)組位置置為1。

contains方法用于檢查元素是否存在于布隆過濾器中。它使用每個哈希函數(shù)對元素進(jìn)行哈希，并檢查對應(yīng)的位數(shù)組位置是否為1。如果有任何一個位置為0，則說明元素不在布隆過濾器中。

在示例中，我們創(chuàng)建了一個布隆過濾器實(shí)例，添加了幾個元素，并檢查了其中的一些元素是否存在于布隆過濾器中。

需要注意的是，布隆過濾器存在一定的誤判率（False Positive），即可能會判斷某個元素存在于集合中，但實(shí)際上并不存在。因此，在使用布隆過濾器時，需要根據(jù)具體應(yīng)用場景和數(shù)據(jù)量來選擇合適的位數(shù)組大小和哈希函數(shù)數(shù)量，以控制誤判率。