專業(yè)電容層析成像代做網(wǎng)站北京營銷推廣公司
下圖是MySQL(MySQL5.7版本)體系架構(gòu)圖
MySQL的InnoDb Buffer Pool 緩沖池是主內(nèi)存中的一個區(qū)域,用來緩存InnoDB在訪問表和索引時的數(shù)據(jù)。對于頻繁使用的數(shù)據(jù)可以直接從內(nèi)存中訪問,從而加快處理速度。如果一臺服務(wù)器專用作MySQL數(shù)據(jù)庫使用時,通常將70%~80%(具體看總內(nèi)存大小而定)的物理內(nèi)存空間分配給緩沖池。
緩沖池由多個緩沖池實(shí)例(innodb_buffer_pool_instances)組成,每個實(shí)例都有自己的鎖和數(shù)據(jù)結(jié)構(gòu),這樣可以在多線程環(huán)境中提高并發(fā)性能。緩沖池中的頁可以分為干凈頁和臟頁,干凈頁是指與磁盤上的數(shù)據(jù)一致的頁,而臟頁則是指已經(jīng)被修改但尚未寫回磁盤的頁。InnoDB會定期將臟頁刷新回磁盤,以確保數(shù)據(jù)的持久性
1.? LRU算法
LRU(Least Recently Used,最近最少使用)是一種常見的緩存替換算法,通常用于管理緩存中的數(shù)據(jù)頁面。該算法基于一個簡單的思想:當(dāng)緩存空間不足時,將最近最少被訪問的數(shù)據(jù)頁替換出去,以便為新的數(shù)據(jù)頁騰出空間。
LRU算法維護(hù)一個數(shù)據(jù)結(jié)構(gòu),通常是一個鏈表或者是一個數(shù)組,用于記錄數(shù)據(jù)頁面的訪問順序。每當(dāng)一個數(shù)據(jù)頁面被訪問時,就將其移動到鏈表或數(shù)組的頭部(或其他適當(dāng)位置),表示最近被訪問。當(dāng)緩存空間不足時,將鏈表或數(shù)組尾部的數(shù)據(jù)頁面替換出去,因?yàn)樗鼈兪亲罱钌俦辉L問的。
LRU算法的優(yōu)點(diǎn)是簡單易實(shí)現(xiàn),并且通常能夠有效地利用緩存空間,保留最近被頻繁訪問的數(shù)據(jù)頁面,從而提高緩存命中率,減少磁盤IO操作,提升系統(tǒng)性能。然而,LRU算法也存在一些缺點(diǎn),比如需要維護(hù)一個有序的數(shù)據(jù)結(jié)構(gòu),當(dāng)緩存數(shù)據(jù)量非常大時,可能會導(dǎo)致性能下降。
MySQL為了提高大批量數(shù)據(jù)讀取操作的效率,將緩沖池劃分為可以潛在地容納多行的頁面。為了提高緩存管理的效率,緩沖池被實(shí)現(xiàn)為頁面的鏈接列表;最近很少被使用的數(shù)據(jù)會使用LRU算法的變體從緩存中淘汰出去。
2.??MySQL中的LRU優(yōu)化
在MySQL中,針對傳統(tǒng)的LRU算法進(jìn)行了優(yōu)化,以解決全表掃描和預(yù)讀機(jī)制可能帶來的性能問題。這種優(yōu)化被稱為“冷熱分離”,它將LRU鏈表分為兩部分:一部分用于存放冷數(shù)據(jù)(即最近加載但尚未被頻繁訪問的數(shù)據(jù)頁),另一部分用于存放熱數(shù)據(jù)(即經(jīng)常被訪問的數(shù)據(jù)頁)。這樣,即使進(jìn)行全表掃描或預(yù)讀操作,也不會立即影響到那些熱數(shù)據(jù)頁的位置,從而保持了緩沖池的高命中率和性能。
默認(rèn)情況下,優(yōu)化后的LRU算法將5/8的緩沖池空間用于存放熱數(shù)據(jù),3/8的空間用于存放冷數(shù)據(jù),冷熱區(qū)域的邊界叫做midpoint區(qū)。
當(dāng)InnoDB將一個頁面讀入緩沖池時,它最初會將其插入midpoint區(qū)(即冷數(shù)據(jù)區(qū)的頭部)。此后頁面可能被讀取,因?yàn)樗怯脩舭l(fā)起的操作(例如SQL查詢或作為InnoDB自動執(zhí)行的預(yù)讀操作的一部分)。
而訪問冷數(shù)據(jù)區(qū)中的頁面時會將此頁面變“熱”,進(jìn)而將其移到熱數(shù)據(jù)區(qū)的頭部。如果頁面是由于用戶發(fā)起的操作而被讀取的,則首次訪問會立即發(fā)生,并且頁面會變?yōu)椤盁帷?。如果頁面是由于預(yù)讀操作而被讀取的,則首次訪問不會立即訪問,并且在頁面被驅(qū)逐之前可能也永遠(yuǎn)不會被訪問。
隨著數(shù)據(jù)庫的運(yùn)行,未被訪問的緩沖池中的頁面通過向列表的尾部移動而“老化”。隨著其他頁面被設(shè)置為新頁面,冷數(shù)據(jù)區(qū)中的頁面都會老化。隨著頁面被插入midpoint,冷數(shù)據(jù)區(qū)中的頁面也會老化。最終,保持未使用的頁面被推向冷數(shù)據(jù)區(qū)的尾部并被驅(qū)逐。
3.?小結(jié)
MySQL使用LRU(最近最少使用)算法來管理其InnoDB存儲引擎的緩沖池(Buffer Pool),因?yàn)檫@種算法能有效地維護(hù)緩存頁的使用頻率和順序。LRU算法通過淘汰長時間未被訪問的數(shù)據(jù)頁,確保緩沖池中存儲的是最可能被再次訪問的數(shù)據(jù),從而提高數(shù)據(jù)檢索的效率。
在實(shí)際應(yīng)用中,MySQL對傳統(tǒng)的LRU算法進(jìn)行了優(yōu)化,以解決全表掃描和預(yù)讀機(jī)制可能帶來的性能問題。這種優(yōu)化被稱為冷熱分離,它將LRU鏈表分為兩部分:一部分用于存放冷數(shù)據(jù)(即最近加載但尚未被頻繁訪問的數(shù)據(jù)頁),另一部分用于存放熱數(shù)據(jù)(即經(jīng)常被訪問的數(shù)據(jù)頁)。這樣,即使進(jìn)行全表掃描或預(yù)讀操作,也不會立即影響到那些熱數(shù)據(jù)頁的位置,從而保持了緩沖池的高命中率和性能
往期精彩回顧
1.??MySQL高可用之MHA集群部署
2.??mysql8.0新增用戶及加密規(guī)則修改的那些事
3.? 比hive快10倍的大數(shù)據(jù)查詢利器-- presto
4. ?監(jiān)控利器出鞘:Prometheus+Grafana監(jiān)控MySQL、Redis數(shù)據(jù)庫
5. ?PostgreSQL主從復(fù)制--物理復(fù)制
6.??MySQL傳統(tǒng)點(diǎn)位復(fù)制在線轉(zhuǎn)為GTID模式復(fù)制
7.??MySQL敏感數(shù)據(jù)加密及解密
8.??MySQL數(shù)據(jù)備份及還原(一)
9.??MySQL數(shù)據(jù)備份及還原(二)
掃碼關(guān)注?????