Redis 數(shù)據(jù)庫的高可用

一.Redis 數(shù)據(jù)庫的持久化

1.Redis 高可用概念

（1）在web服務(wù)器中，高可用是指服務(wù)器可以正常訪問的時間，衡量的標準是在多長時間內(nèi)可以提供正常服務(wù)（99.9%、99.99%、99.999%等等）。
（2）在Redis中，保證提供正常服務(wù)（如主從分離、快速容災技術(shù)），還需要考慮數(shù)據(jù)容量的擴展、數(shù)據(jù)安全不會丟失等。

2.Redis 實現(xiàn)高可用的技術(shù)

實現(xiàn)高可用的技術(shù)主要包括持久化、主從復制、哨兵和 Cluster集群。

2.1 持久化

持久化是最簡單的高可用方法.

主要作用是數(shù)據(jù)備份，即將數(shù)據(jù)存儲在硬盤，保證數(shù)據(jù)不會因進程退出而丟失。

2.2 主從復制

（1）主從復制是高可用Redis的基礎(chǔ)，哨兵和集群都是在主從復制基礎(chǔ)上實現(xiàn)高可用的。

（2）主從復制主要實現(xiàn)了數(shù)據(jù)的多機備份，以及對于讀操作的負載均衡和簡單的故障恢復。

（3）缺陷：故障恢復無法自動化；寫操作無法負載均衡；存儲能力受到單機的限制。

2.3 哨兵

（1）在主從復制的基礎(chǔ)上，哨兵實現(xiàn)了自動化的故障恢復。

（2）缺陷：寫操作無法負載均衡；存儲能力受到單機的限制。

2.4 Cluster集群

通過集群，Redis解決了寫操作無法負載均衡，以及存儲能力受到單機限制的問題，實現(xiàn)了較為完善的高可用方案。

3.Redis 持久化

3.1 持久化的功能

（1）Redis是內(nèi)存數(shù)據(jù)庫，數(shù)據(jù)存儲在內(nèi)存中，避免服務(wù)器斷電等原因?qū)е翿edis進程異常退出后數(shù)據(jù)的永久丟失，需定期將Redis中的數(shù)據(jù)以某種形式（數(shù)據(jù)或命令）從內(nèi)存保存到硬盤，當下次Redis重啟時，利用持久化文件實現(xiàn)數(shù)據(jù)恢復。

（2）為了進行災難備份，可以將持久化文件拷貝到一個遠程位置。

3.2 Redis 提供持久化的方式

3.2.1 RDB 持久化

原理是將 Reids在內(nèi)存中的數(shù)據(jù)庫記錄定時保存到磁盤上

3.2.2 AOF 持久化（append only file）

原理是將 Reids 的操作日志以追加的方式寫入文件，類似于MySQL的binlog。

由AOF持久化的實時性更好，進程意外退出時丟失的數(shù)據(jù)更少，因此AOF是目前主流的持久化方式，不過RDB持久化仍然有其用武之地。

3.3 RDB 持久化

3.3.1 RDB 持久化概念

RDB持久化是指在指定的時間間隔內(nèi)將內(nèi)存中當前進程中的數(shù)據(jù)生成快照保存到硬盤(因此也稱作快照持久化)，用二進制壓縮存儲，保存的文件后綴是rdb；當Redis重新啟動時，可以讀取快照文件恢復數(shù)據(jù)。

3.3.2 RDB 持久化的觸發(fā)條件

RDB持久化的觸發(fā)分為手動觸發(fā)和自動觸發(fā)兩種。

（1）手動觸發(fā)

• save命令和bgsave命令都可以生成RDB文件。
• save命令會阻塞Redis服務(wù)器進程，直到RDB文件創(chuàng)建完畢為止，在Redis服務(wù)器阻塞期間，服務(wù)器不能處理任何命令請求。
• bgsave命令會創(chuàng)建一個子進程，由子進程來負責創(chuàng)建RDB文件，父進程(即Redis主進程)則繼續(xù)處理請求。

bgsave命令執(zhí)行過程中，只有fork子進程時會阻塞服務(wù)器，而對于save命令，整個過程都會阻塞服務(wù)器，因此save已基本被廢棄，線上環(huán)境要杜絕save的使用。

（2）自動觸發(fā)

• 在自動觸發(fā)RDB持久化時，Redis也會選擇bgsave而不是save來進行持久化。
• save m n 自動觸發(fā)最常見的情況是在配置文件中通過save m n，指定當m秒內(nèi)發(fā)生n次變化時，會觸發(fā)bgsave。

vim /etc/redis/6379.conf
--219行--以下三個save條件滿足任意一個時，都會引起bgsave的調(diào)用
save 900 1 ：當時間到900秒時，如果redis數(shù)據(jù)發(fā)生了至少1次變化，則執(zhí)行bgsave
save 300 10 ：當時間到300秒時，如果redis數(shù)據(jù)發(fā)生了至少10次變化，則執(zhí)行bgsave
save 60 10000 ：當時間到60秒時，如果redis數(shù)據(jù)發(fā)生了至少10000次變化，則執(zhí)行bgsave
--254行--指定RDB文件名
dbfilename dump.rdb
--264行--指定RDB文件和AOF文件所在目錄
dir /var/lib/redis/6379
--242行--是否開啟RDB文件壓縮
rdbcompression yes

（3）其他自動觸發(fā)機制

除了save m n 以外，還有一些其他情況會觸發(fā)bgsave：
● 在 主 從 復 制 場 景下，如果從節(jié)點執(zhí)行全量復制操作，則主節(jié)點會執(zhí)行bgsave命令，并將rdb文件發(fā)送給從節(jié)點。
●執(zhí)行shutdown命令時，自動執(zhí)行rdb持久化。

3.3.3 執(zhí)行流程

（1）Redis父進程首先判斷：當前是否在執(zhí)行save，或bgsave/bgrewriteaof的子進程，如果在執(zhí)行則bgsave命令直接返回。 bgsave/bgrewriteaof的子進程不能同時執(zhí)行，主要是基于性能方面的考慮：兩個并發(fā)的子進程同時執(zhí)行大量的磁盤寫操作，可能引起嚴重的性能問題。
（2）父進程執(zhí)行fork操作創(chuàng)建子進程，這個過程中父進程是阻塞的，Redis不能執(zhí)行來自客戶端的任何命令
（3）父進程fork后，bgsave命令返回”Background saving started”信息并不再阻塞父進程，并可以響應其他命令
（4）子進程創(chuàng)建RDB文件，根據(jù)父進程內(nèi)存快照生成臨時快照文件，完成后對原有文件進行原子替換
（5）子進程發(fā)送信號給父進程表示完成，父進程更新統(tǒng)計信息

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-YSrXNdSg-1690457612627)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230726095429955.png)]

3.3.4 啟動時加載

RDB文件的載入工作是在服務(wù)器啟動時自動執(zhí)行的，并沒有專門的命令。但由于AOF的優(yōu)先級更高，因此當AOF開啟時，Redis會優(yōu)先載入 AOF文件來恢復數(shù)據(jù)；只有當AOF關(guān)閉時，才會在Redis服務(wù)器啟動時檢測RDB文件，并自動載入。服務(wù)器載入RDB文件期間處于阻塞狀態(tài)，直到載入完成為止。
Redis載入RDB文件時，會對RDB文件進行校驗，如果文件損壞，則日志中會打印錯誤，Redis啟動失敗。

3.3.5 RDB的優(yōu)缺點

（１）缺點

• 數(shù)據(jù)完整性不如ａｏｆ
• ｒｄｂ類似快照（完善）
• 在進行備份時，會阻塞進程

（２）優(yōu)點

• 持久化速度塊（因為保存的數(shù)據(jù)結(jié)果），在寫入到＊．ｒｄｂ持久化文件進行壓縮，來減小自身的體積
• 集群中，ｒｅｄｉｓ主從復制，從——主服務(wù)器進行同步，默認先使用RDB文件進行，恢復操作，所有同步性能較高

３.４AOF 持久化

３.４.１AOF 持久化概念

RDB持久化是將進程數(shù)據(jù)寫入文件，而AOF持久化，則是將Redis執(zhí)行的每次寫、刪除命令記錄到單獨的日志文件中，查詢操作不會記錄； 當Redis重啟時再次執(zhí)行AOF文件中的命令來恢復數(shù)據(jù)。
與RDB相比，AOF的實時性更好，因此已成為主流的持久化方案。

３.４.２開啟AOF

Redis服務(wù)器默認開啟RDB，關(guān)閉AOF；要開啟AOF，需要在配置文件中配置：
vim /etc/redis/6379.conf
--700行--修改，開啟AOF
appendonly yes
--704行--指定AOF文件名稱
appendfilename "appendonly.aof"
--796行--是否忽略最后一條可能存在問題的指令
aof-load-truncated yes

/etc/init.d/redis_6379 restart

３.４.３AOF的執(zhí)行流程

由于需要記錄Redis的每條寫命令，因此AOF不需要觸發(fā).

AOF的執(zhí)行流程包括：

（１）命令追加(append)

• 將Redis的寫命令追加到緩沖區(qū)aof_buf；
• Redis先將寫命令追加到緩沖區(qū)，而不是直接寫入文件，主要是為了避免每次有寫命令都直接寫入硬盤，導致硬盤IO成為Redis負載的瓶頸。
• 命令追加的格式是Redis命令請求的協(xié)議格式，它是一種純文本格式，具有兼容性好、可讀性強、容易處理、操作簡單避免二次開銷等優(yōu)點。
• 在AOF文件中，除了用于指定數(shù)據(jù)庫的select命令（如select 0為選中0號數(shù)據(jù)庫）是由Redis添加的，其他都是客戶端發(fā)送來的寫命令。

（２）文件寫入(write)和文件同步(sync)

• 根據(jù)不同的同步策略將aof_buf中的內(nèi)容同步到硬盤；
• Redis提供了多種AOF緩存區(qū)的同步文件策略，策略涉及到操作系統(tǒng)的write函數(shù)和fsync函數(shù).
• 為了提高文件寫入效率，在現(xiàn)代操作系統(tǒng)中，當用戶調(diào)用write函數(shù)將數(shù)據(jù)寫入文件時，操作系統(tǒng)通常會將數(shù)據(jù)暫存到一個內(nèi)存緩沖區(qū)里，當緩沖區(qū)被填滿或超過了指定時限后，才真正將緩沖區(qū)的數(shù)據(jù)寫入到硬盤里。
• 這樣雖然提高了效率，但也帶來了安全問題：如果計算機停機，內(nèi)存緩沖區(qū)中的數(shù)據(jù)會丟失；因此系統(tǒng)同時提供了fsync、fdatasync等同步函數(shù)，可以強制操作系統(tǒng)立刻將緩沖區(qū)中的數(shù)據(jù)寫入到硬盤里，從而確保數(shù)據(jù)的安全性。

3.4.3.1 AOF緩存區(qū)的同步文件策略存在三種同步方式

vim /etc/redis/6379.conf
–729行–
●appendfsync always： 命令寫入aof_buf后立即調(diào)用系統(tǒng)fsync操作同步到AOF文件，fsync完成后線程返回。這種情況下，每次有寫命令都要同步到AOF文件，硬盤IO成為性能瓶頸，Redis只能支持大約幾百TPS寫入，嚴重降低了Redis的性能；即便是使用固態(tài)硬盤（SSD），每秒大約也只能處理幾萬個命令，而且會大大降低SSD的壽命。

●appendfsync no： 命令寫入aof_buf后調(diào)用系統(tǒng)write操作，不對AOF文件做fsync同步；同步由操作系統(tǒng)負責，通常同步周期為30秒。這種情況下，文件同步的時間不可控，且緩沖區(qū)中堆積的數(shù)據(jù)會很多，數(shù)據(jù)安全性無法保證。

●appendfsync everysec： 命令寫入aof_buf后調(diào)用系統(tǒng)write操作，write完成后線程返回；fsync同步文件操作由專門的線程每秒調(diào)用一次。everysec是前述兩種策略的折中，是性能和數(shù)據(jù)安全性的平衡，因此是Redis的默認配置，也是我們推薦的配置。

（３）文件重寫(rewrite)

• 定期重寫AOF文件，達到壓縮的目的。
• 隨著時間流逝，Redis服務(wù)器執(zhí)行的寫命令越來越多，AOF文件也會越來越大；過大的AOF文件不僅會影響服務(wù)器的正常運行，也會導致數(shù)據(jù)恢復需要的時間過長。
• 文件重寫是指定期重寫AOF文件，減小AOF文件的體積。需要注意的是，AOF重寫是把Redis進程內(nèi)的數(shù)據(jù)轉(zhuǎn)化為寫命令，同步到新的AOF文件；不會對舊的AOF文件進行任何讀取、寫入操作!
• 對于AOF持久化來說，文件重寫雖然是強烈推薦的，但并不是必須的；即使沒有文件重寫，數(shù)據(jù)也可以被持久化并在Redis啟動的時候?qū)?#xff1b;因此在一些現(xiàn)實中，會關(guān)閉自動的文件重寫，然后通過定時任務(wù)在每天的某一時刻定時執(zhí)行。

３.４.３.２文件重寫為何能夠壓縮AOF文件

●過期的數(shù)據(jù)不再寫入文件
●無效的命令不再寫入文件：如有些數(shù)據(jù)被重復設(shè)值(set mykey v1, set mykey v2)、有些數(shù)據(jù)被刪除了(set myset v1, del myset)等。
●多條命令可以合并為一個：如sadd myset v1, sadd myset v2, sadd myset v3可以合并為sadd myset v1 v2 v3。

通過上述內(nèi)容可以看出，由于重寫后AOF執(zhí)行的命令減少了，文件重寫既可以減少文件占用的空間，也可以加快恢復速度。

３.４.３.３文件重寫的觸發(fā)，分為手動觸發(fā)和自動觸發(fā)：

●手動觸發(fā)：直接調(diào)用bgrewriteaof命令，該命令的執(zhí)行與bgsave有些類似：都是fork子進程進行具體的工作，且都只有在fork時阻塞。
●自動觸發(fā)：通過設(shè)置auto-aof-rewrite-min-size選項和auto-aof-rewrite-percentage選項來自動執(zhí)行BGREWRITEAOF。 只有當auto-aof-rewrite-min-size和auto-aof-rewrite-percentage兩個選項同時滿足時，才會自動觸發(fā)AOF重寫，即bgrewriteaof操作。

vim /etc/redis/6379.conf
–729–
●auto-aof-rewrite-percentage 100 ：當前AOF文件大小(即aof_current_size)是上次日志重寫時AOF文件大小(aof_base_size)兩倍時，發(fā)生BGREWRITEAOF操作
●auto-aof-rewrite-min-size 64mb ：當前AOF文件執(zhí)行BGREWRITEAOF命令的最小值，避免剛開始啟動Reids時由于文件尺寸較小導致頻繁的BGREWRITEAOF

關(guān)于文件重寫的流程，有兩點需要特別注意：(1)重寫由父進程fork子進程進行；(2)重寫期間Redis執(zhí)行的寫命令，需要追加到新的AOF文件中，為此Redis引入了aof_rewrite_buf緩存。

３.４.４文件重寫的流程如下：

（1）Redis父進程首先判斷當前是否存在正在執(zhí)行bgsave/bgrewriteaof的子進程，如果存在則bgrewriteaof命令直接返回，如果存在 bgsave命令則等bgsave執(zhí)行完成后再執(zhí)行。
（2）父進程執(zhí)行fork操作創(chuàng)建子進程，這個過程中父進程是阻塞的。
（3.1）父進程fork后，bgrewriteaof命令返回”Background append only file rewrite started”信息并不再阻塞父進程， 并可以響應其他命令。Redis的所有寫命令依然寫入AOF緩沖區(qū)，并根據(jù)appendfsync策略同步到硬盤，保證原有AOF機制的正確。
（3.2）由于fork操作使用寫時復制技術(shù)，子進程只能共享fork操作時的內(nèi)存數(shù)據(jù)。由于父進程依然在響應命令，因此Redis使用AOF重寫緩沖區(qū)(aof_rewrite_buf)保存這部分數(shù)據(jù)，防止新AOF文件生成期間丟失這部分數(shù)據(jù)。也就是說，bgrewriteaof執(zhí)行期間，Redis的寫命令同時追加到aof_buf和aof_rewirte_buf兩個緩沖區(qū)。
（4）子進程根據(jù)內(nèi)存快照，按照命令合并規(guī)則寫入到新的AOF文件。
（5.1）子進程寫完新的AOF文件后，向父進程發(fā)信號，父進程更新統(tǒng)計信息，具體可以通過info persistence查看。
（5.2）父進程把AOF重寫緩沖區(qū)的數(shù)據(jù)寫入到新的AOF文件，這樣就保證了新AOF文件所保存的數(shù)據(jù)庫狀態(tài)和服務(wù)器當前狀態(tài)一致。
（5.3）使用新的AOF文件替換老文件，完成AOF重寫。

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-CoG74ZPm-1690457612628)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230726115030489.png)]

３.４.５啟動時加載

（１）當AOF開啟時，Redis啟動時會優(yōu)先載入AOF文件來恢復數(shù)據(jù)；只有當AOF關(guān)閉時，才會載入RDB文件恢復數(shù)據(jù)。
（２）當AOF開啟，但AOF文件不存在時，即使RDB文件存在也不會加載。
（３）Redis載入AOF文件時，會對AOF文件進行校驗，如果文件損壞，則日志中會打印錯誤，Redis啟動失敗。但如果是AOF文件結(jié)尾不完整(機器突然宕機等容易導致文件尾部不完整)，且aof-load-truncated參數(shù)開啟，則日志中會輸出警告，Redis忽略掉AOF文件的尾部，啟動成功。aof-load-truncated參數(shù)默認是開啟的。

３.４.６AOF持久化的優(yōu)缺點

（１）缺點

• 執(zhí)行語句一直的情況下，AOF備份的內(nèi)容更大，RDB備份的內(nèi)容較小、備份的時結(jié)果、語句
• AOF消耗的性能更大，占用磁盤越來越大（相當于mysql的增備）

（2）優(yōu)點

• AOF的數(shù)據(jù)完整性比RDB高
• 重寫功能會對無效的語句進行刪除（目的是為了節(jié)省AOF文件占用磁盤空間

二.Redis 性能管理

1.查看Redis內(nèi)存使用

127.0.0.1:6379> info memory

2.內(nèi)存碎片率

2.1 什么是內(nèi)存碎片率

相當于如有32個內(nèi)存，使用了24個，則剩下的8個就是內(nèi)存碎片率

2.2 跟蹤內(nèi)存碎片率對理解Redis實例的資源性能

(1)內(nèi)存碎片率稍大于1是合理的，這個值表示內(nèi)存碎片率比較低，也說明 Redis 沒有發(fā)生內(nèi)存交換。
(2)內(nèi)存碎片率超過1.5，說明Redis消耗了實際需要物理內(nèi)存的150%，其中50%是內(nèi)存碎片率。需要在redis-cli工具上輸入shutdown save 命令，讓 Redis 數(shù)據(jù)庫執(zhí)行保存操作并關(guān)閉 Redis 服務(wù)，再重啟服務(wù)器。
(3)內(nèi)存碎片率低于1的，說明Redis內(nèi)存分配超出了物理內(nèi)存，操作系統(tǒng)正在進行內(nèi)存交換。需要增加可用物理內(nèi)存或減少 Redis 內(nèi)存占用。

2.3 為什么會有內(nèi)存碎片

（1）redis存儲數(shù)據(jù)的時候，操作系統(tǒng)申請的內(nèi)存空間可能會大于實際需要的內(nèi)存空間

（2）頻繁修改redis中數(shù)據(jù)也會產(chǎn)生內(nèi)存碎片

3.內(nèi)存使用率

redis實例的內(nèi)存使用率超過可用最大內(nèi)存，操作系統(tǒng)將開始進行內(nèi)存與swap空間交換。

3.1 避免內(nèi)存交換發(fā)生的方法：

（1）針對緩存數(shù)據(jù)大小選擇安裝 Redis 實例
（2）盡可能的使用Hash數(shù)據(jù)結(jié)構(gòu)存儲
（3）設(shè)置key的過期時間

4.內(nèi)回收key

內(nèi)存清理策略，保證合理分配redis有限的內(nèi)存資源。

當達到設(shè)置的最大閥值時，需選擇一種key的回收策略，默認情況下回收策略是禁止刪除。

配置文件中修改 maxmemory-policy 屬性值：
vim /etc/redis/6379.conf
--598--
maxmemory-policy noenviction

●volatile-lru：使用LRU算法從已設(shè)置過期時間的數(shù)據(jù)集合中淘汰數(shù)據(jù)(移除最近最少使用的key，針對設(shè)置了TTL的key)
●volatile-ttl：從已設(shè)置過期時間的數(shù)據(jù)集合中挑選即將過期的數(shù)據(jù)淘汰（移除最近過期的key）
●volatile-random：從已設(shè)置過期時間的數(shù)據(jù)集合中隨機挑選數(shù)據(jù)淘汰（在設(shè)置了TTL的key里隨機移除）
●allkeys-lru：使用LRU算法從所有數(shù)據(jù)集合中淘汰數(shù)據(jù)（移除最少使用的key，針對所有的key）
●allkeys-random：從數(shù)據(jù)集合中任意選擇數(shù)據(jù)淘汰（隨機移除key）
●noenviction：禁止淘汰數(shù)據(jù)（不刪除直到寫滿時報錯）

總

１．RDB和AOF基本理解

（１）RDB：周期性的把內(nèi)存中的數(shù)據(jù)保存在磁盤中

（２）AOF: 從Redis的操作日志記錄中將執(zhí)行的過程同步到磁盤中

２．RDB和AOF的持久化過程

（１）RDB

寫入磁盤中保存的方式： 內(nèi)存中
寫入磁盤中的保存的數(shù)據(jù)對象：結(jié)果數(shù)據(jù)

內(nèi)存寫入磁盤后，會進行壓縮，來減小*rdb的磁盤占用空間量

（２）AOF

內(nèi)存寫入到append追加到緩沖區(qū)再調(diào)用CPU資源來寫入到磁盤中

操作日志記錄中的執(zhí)行語句追加到緩沖調(diào)用CPU寫入磁盤

內(nèi)存—緩沖—磁盤，寫入后，會周期性的進行重寫，調(diào)過一些"無效操作”保存

３.RDB和AOF觸發(fā)方式

（１）RDB分為

• 手動觸發(fā)
• 自動觸發(fā)：save m n(假設(shè)save 900 60，則表示900秒內(nèi)有60條語句執(zhí)行，則觸發(fā)RDB持久化)

特殊觸發(fā):當手動關(guān)閉Redis時，會進行RDB方式的持久化

/etc/init.d/redis 6379 stop  restart

shutdown 關(guān)閉時，kill 不會觸發(fā)

（２）AOF

• 手動觸發(fā)
• 自動觸發(fā)
  always每條語句，同步執(zhí)行持久化(有強一致性要的場景)
  no 從不進行持久化
  every second 每秒進行一次AOE持久化(建議使用的，均衡型場景)

4、RDB和AOE優(yōu)先級

（１）因為redis默認是將數(shù)據(jù)保存在內(nèi)存中，所以若redis啟動、關(guān)閉時內(nèi)存中的數(shù)據(jù)會丟失

（２）在redis每次啟動時，都會讀取持久化文件，來會發(fā)數(shù)據(jù)到內(nèi)存中，以保證reids數(shù)據(jù)的完整性
（３）RDB和AOF優(yōu)先級aof＞RDB
式的持久化

/etc/init.d/redis 6379 stop  restart

shutdown 關(guān)閉時，kill 不會觸發(fā)

（２）AOF

• 手動觸發(fā)
• 自動觸發(fā)
  always每條語句，同步執(zhí)行持久化(有強一致性要的場景)
  no 從不進行持久化
  every second 每秒進行一次AOE持久化(建議使用的，均衡型場景)

4、RDB和AOE優(yōu)先級

（１）因為redis默認是將數(shù)據(jù)保存在內(nèi)存中，所以若redis啟動、關(guān)閉時內(nèi)存中的數(shù)據(jù)會丟失

（２）在redis每次啟動時，都會讀取持久化文件，來會發(fā)數(shù)據(jù)到內(nèi)存中，以保證reids數(shù)據(jù)的完整性
（３）RDB和AOF優(yōu)先級aof＞RDB
配置文件可以指定啟動 修改各個參數(shù)6379.conf