技術(shù)支持 湖州網(wǎng)站建設(shè)百度怎么發(fā)布自己的信息
文章目錄
- Redis 數(shù)據(jù)庫(kù)的高可用
- 一.Redis 數(shù)據(jù)庫(kù)的持久化
- 1.Redis 高可用概念
- 2.Redis 實(shí)現(xiàn)高可用的技術(shù)
- 2.1 持久化
- 2.2 主從復(fù)制
- 2.3 哨兵
- 2.4 Cluster集群
- 3.Redis 持久化
- 3.1 持久化的功能
- 3.2 Redis 提供持久化的方式
- 3.2.1 RDB 持久化
- 3.2.2 AOF 持久化(append only file)
- 3.3 RDB 持久化
- 3.3.1 RDB 持久化概念
- 3.3.2 RDB 持久化的觸發(fā)條件
- 3.3.3 執(zhí)行流程
- 3.3.4 啟動(dòng)時(shí)加載
- 3.3.5 RDB的優(yōu)缺點(diǎn)
- 3.4AOF 持久化
- 3.4.1AOF 持久化概念
- 3.4.2開(kāi)啟AOF
- 3.4.3.1 AOF緩存區(qū)的同步文件策略存在三種同步方式
- 3.4.3.2文件重寫(xiě)為何能夠壓縮AOF文件
- 3.4.3.3文件重寫(xiě)的觸發(fā),分為手動(dòng)觸發(fā)和自動(dòng)觸發(fā):
- 3.4.4文件重寫(xiě)的流程如下:
- 3.4.5啟動(dòng)時(shí)加載
- 3.4.6AOF持久化的優(yōu)缺點(diǎn)
- 二.Redis 性能管理
- 1.查看Redis內(nèi)存使用
- 2.內(nèi)存碎片率
- 2.1 什么是內(nèi)存碎片率
- 2.2 跟蹤內(nèi)存碎片率對(duì)理解Redis實(shí)例的資源性能
- 2.3 為什么會(huì)有內(nèi)存碎片
- 3.內(nèi)存使用率
- 3.1 避免內(nèi)存交換發(fā)生的方法:
- 4.內(nèi)回收key
- 總
- 1.RDB和AOF基本理解
- 2.RDB和AOF的持久化過(guò)程
- 3.RDB和AOF觸發(fā)方式
- 4、RDB和AOE優(yōu)先級(jí)
- 4、RDB和AOE優(yōu)先級(jí)
Redis 數(shù)據(jù)庫(kù)的高可用
一.Redis 數(shù)據(jù)庫(kù)的持久化
1.Redis 高可用概念
(1)在web服務(wù)器中,高可用是指服務(wù)器可以正常訪問(wèn)的時(shí)間,衡量的標(biāo)準(zhǔn)是在多長(zhǎng)時(shí)間內(nèi)可以提供正常服務(wù)(99.9%、99.99%、99.999%等等)。
(2)在Redis中,保證提供正常服務(wù)(如主從分離、快速容災(zāi)技術(shù)),還需要考慮數(shù)據(jù)容量的擴(kuò)展、數(shù)據(jù)安全不會(huì)丟失等。
2.Redis 實(shí)現(xiàn)高可用的技術(shù)
實(shí)現(xiàn)高可用的技術(shù)主要包括持久化、主從復(fù)制、哨兵和 Cluster集群。
2.1 持久化
持久化是最簡(jiǎn)單的高可用方法.
主要作用是數(shù)據(jù)備份,即將數(shù)據(jù)存儲(chǔ)在硬盤(pán),保證數(shù)據(jù)不會(huì)因進(jìn)程退出而丟失。
2.2 主從復(fù)制
(1)主從復(fù)制是高可用Redis的基礎(chǔ),哨兵和集群都是在主從復(fù)制基礎(chǔ)上實(shí)現(xiàn)高可用的。
(2)主從復(fù)制主要實(shí)現(xiàn)了數(shù)據(jù)的多機(jī)備份,以及對(duì)于讀操作的負(fù)載均衡和簡(jiǎn)單的故障恢復(fù)。
(3)缺陷:故障恢復(fù)無(wú)法自動(dòng)化;寫(xiě)操作無(wú)法負(fù)載均衡;存儲(chǔ)能力受到單機(jī)的限制。
2.3 哨兵
(1)在主從復(fù)制的基礎(chǔ)上,哨兵實(shí)現(xiàn)了自動(dòng)化的故障恢復(fù)。
(2)缺陷:寫(xiě)操作無(wú)法負(fù)載均衡;存儲(chǔ)能力受到單機(jī)的限制。
2.4 Cluster集群
通過(guò)集群,Redis解決了寫(xiě)操作無(wú)法負(fù)載均衡,以及存儲(chǔ)能力受到單機(jī)限制的問(wèn)題,實(shí)現(xiàn)了較為完善的高可用方案。
3.Redis 持久化
3.1 持久化的功能
(1)Redis是內(nèi)存數(shù)據(jù)庫(kù),數(shù)據(jù)存儲(chǔ)在內(nèi)存中,避免服務(wù)器斷電等原因?qū)е翿edis進(jìn)程異常退出后數(shù)據(jù)的永久丟失,需定期將Redis中的數(shù)據(jù)以某種形式(數(shù)據(jù)或命令)從內(nèi)存保存到硬盤(pán),當(dāng)下次Redis重啟時(shí),利用持久化文件實(shí)現(xiàn)數(shù)據(jù)恢復(fù)。
(2)為了進(jìn)行災(zāi)難備份,可以將持久化文件拷貝到一個(gè)遠(yuǎn)程位置。
3.2 Redis 提供持久化的方式
3.2.1 RDB 持久化
原理是將 Reids在內(nèi)存中的數(shù)據(jù)庫(kù)記錄定時(shí)保存到磁盤(pán)上
3.2.2 AOF 持久化(append only file)
原理是將 Reids 的操作日志以追加的方式寫(xiě)入文件,類(lèi)似于MySQL的binlog。
由AOF持久化的實(shí)時(shí)性更好,進(jìn)程意外退出時(shí)丟失的數(shù)據(jù)更少,因此AOF是目前主流的持久化方式,不過(guò)RDB持久化仍然有其用武之地。
3.3 RDB 持久化
3.3.1 RDB 持久化概念
RDB持久化是指在指定的時(shí)間間隔內(nèi)將內(nèi)存中當(dāng)前進(jìn)程中的數(shù)據(jù)生成快照保存到硬盤(pán)(因此也稱(chēng)作快照持久化),用二進(jìn)制壓縮存儲(chǔ),保存的文件后綴是rdb;當(dāng)Redis重新啟動(dòng)時(shí),可以讀取快照文件恢復(fù)數(shù)據(jù)。
3.3.2 RDB 持久化的觸發(fā)條件
RDB持久化的觸發(fā)分為手動(dòng)觸發(fā)和自動(dòng)觸發(fā)兩種。
(1)手動(dòng)觸發(fā)
- save命令和bgsave命令都可以生成RDB文件。
- save命令會(huì)阻塞Redis服務(wù)器進(jìn)程,直到RDB文件創(chuàng)建完畢為止,在Redis服務(wù)器阻塞期間,服務(wù)器不能處理任何命令請(qǐng)求。
- bgsave命令會(huì)創(chuàng)建一個(gè)子進(jìn)程,由子進(jìn)程來(lái)負(fù)責(zé)創(chuàng)建RDB文件,父進(jìn)程(即Redis主進(jìn)程)則繼續(xù)處理請(qǐng)求。
bgsave命令執(zhí)行過(guò)程中,只有fork子進(jìn)程時(shí)會(huì)阻塞服務(wù)器,而對(duì)于save命令,整個(gè)過(guò)程都會(huì)阻塞服務(wù)器,因此save已基本被廢棄,線(xiàn)上環(huán)境要杜絕save的使用。
(2)自動(dòng)觸發(fā)
- 在自動(dòng)觸發(fā)RDB持久化時(shí),Redis也會(huì)選擇bgsave而不是save來(lái)進(jìn)行持久化。
- save m n 自動(dòng)觸發(fā)最常見(jiàn)的情況是在配置文件中通過(guò)save m n,指定當(dāng)m秒內(nèi)發(fā)生n次變化時(shí),會(huì)觸發(fā)bgsave。
vim /etc/redis/6379.conf
--219行--以下三個(gè)save條件滿(mǎn)足任意一個(gè)時(shí),都會(huì)引起bgsave的調(diào)用
save 900 1 :當(dāng)時(shí)間到900秒時(shí),如果redis數(shù)據(jù)發(fā)生了至少1次變化,則執(zhí)行bgsave
save 300 10 :當(dāng)時(shí)間到300秒時(shí),如果redis數(shù)據(jù)發(fā)生了至少10次變化,則執(zhí)行bgsave
save 60 10000 :當(dāng)時(shí)間到60秒時(shí),如果redis數(shù)據(jù)發(fā)生了至少10000次變化,則執(zhí)行bgsave
--254行--指定RDB文件名
dbfilename dump.rdb
--264行--指定RDB文件和AOF文件所在目錄
dir /var/lib/redis/6379
--242行--是否開(kāi)啟RDB文件壓縮
rdbcompression yes
(3)其他自動(dòng)觸發(fā)機(jī)制
除了save m n 以外,還有一些其他情況會(huì)觸發(fā)bgsave:
● 在 主 從 復(fù) 制 場(chǎng) 景下,如果從節(jié)點(diǎn)執(zhí)行全量復(fù)制操作,則主節(jié)點(diǎn)會(huì)執(zhí)行bgsave命令,并將rdb文件發(fā)送給從節(jié)點(diǎn)。
●執(zhí)行shutdown命令時(shí),自動(dòng)執(zhí)行rdb持久化。
3.3.3 執(zhí)行流程
(1)Redis父進(jìn)程首先判斷:當(dāng)前是否在執(zhí)行save,或bgsave/bgrewriteaof的子進(jìn)程,如果在執(zhí)行則bgsave命令直接返回。 bgsave/bgrewriteaof的子進(jìn)程不能同時(shí)執(zhí)行,主要是基于性能方面的考慮:兩個(gè)并發(fā)的子進(jìn)程同時(shí)執(zhí)行大量的磁盤(pán)寫(xiě)操作,可能引起嚴(yán)重的性能問(wèn)題。
(2)父進(jìn)程執(zhí)行fork操作創(chuàng)建子進(jìn)程,這個(gè)過(guò)程中父進(jìn)程是阻塞的,Redis不能執(zhí)行來(lái)自客戶(hù)端的任何命令
(3)父進(jìn)程fork后,bgsave命令返回”Background saving started”信息并不再阻塞父進(jìn)程,并可以響應(yīng)其他命令
(4)子進(jìn)程創(chuàng)建RDB文件,根據(jù)父進(jìn)程內(nèi)存快照生成臨時(shí)快照文件,完成后對(duì)原有文件進(jìn)行原子替換
(5)子進(jìn)程發(fā)送信號(hào)給父進(jìn)程表示完成,父進(jìn)程更新統(tǒng)計(jì)信息
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來(lái)直接上傳(img-YSrXNdSg-1690457612627)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230726095429955.png)]
3.3.4 啟動(dòng)時(shí)加載
RDB文件的載入工作是在服務(wù)器啟動(dòng)時(shí)自動(dòng)執(zhí)行的,并沒(méi)有專(zhuān)門(mén)的命令。但由于AOF的優(yōu)先級(jí)更高,因此當(dāng)AOF開(kāi)啟時(shí),Redis會(huì)優(yōu)先載入 AOF文件來(lái)恢復(fù)數(shù)據(jù);只有當(dāng)AOF關(guān)閉時(shí),才會(huì)在Redis服務(wù)器啟動(dòng)時(shí)檢測(cè)RDB文件,并自動(dòng)載入。服務(wù)器載入RDB文件期間處于阻塞狀態(tài),直到載入完成為止。
Redis載入RDB文件時(shí),會(huì)對(duì)RDB文件進(jìn)行校驗(yàn),如果文件損壞,則日志中會(huì)打印錯(cuò)誤,Redis啟動(dòng)失敗。
3.3.5 RDB的優(yōu)缺點(diǎn)
(1)缺點(diǎn)
- 數(shù)據(jù)完整性不如aof
- rdb類(lèi)似快照(完善)
- 在進(jìn)行備份時(shí),會(huì)阻塞進(jìn)程
(2)優(yōu)點(diǎn)
- 持久化速度塊(因?yàn)楸4娴臄?shù)據(jù)結(jié)果),在寫(xiě)入到*.rdb持久化文件進(jìn)行壓縮,來(lái)減小自身的體積
- 集群中,redis主從復(fù)制,從——主服務(wù)器進(jìn)行同步,默認(rèn)先使用RDB文件進(jìn)行,恢復(fù)操作,所有同步性能較高
3.4AOF 持久化
3.4.1AOF 持久化概念
RDB持久化是將進(jìn)程數(shù)據(jù)寫(xiě)入文件,而AOF持久化,則是將Redis執(zhí)行的每次寫(xiě)、刪除命令記錄到單獨(dú)的日志文件中,查詢(xún)操作不會(huì)記錄; 當(dāng)Redis重啟時(shí)再次執(zhí)行AOF文件中的命令來(lái)恢復(fù)數(shù)據(jù)。
與RDB相比,AOF的實(shí)時(shí)性更好,因此已成為主流的持久化方案。
3.4.2開(kāi)啟AOF
Redis服務(wù)器默認(rèn)開(kāi)啟RDB,關(guān)閉AOF;要開(kāi)啟AOF,需要在配置文件中配置:
vim /etc/redis/6379.conf
--700行--修改,開(kāi)啟AOF
appendonly yes
--704行--指定AOF文件名稱(chēng)
appendfilename "appendonly.aof"
--796行--是否忽略最后一條可能存在問(wèn)題的指令
aof-load-truncated yes
/etc/init.d/redis_6379 restart
3.4.3AOF的執(zhí)行流程
由于需要記錄Redis的每條寫(xiě)命令,因此AOF不需要觸發(fā).
AOF的執(zhí)行流程包括:
(1)命令追加(append)
- 將Redis的寫(xiě)命令追加到緩沖區(qū)aof_buf;
- Redis先將寫(xiě)命令追加到緩沖區(qū),而不是直接寫(xiě)入文件,主要是為了避免每次有寫(xiě)命令都直接寫(xiě)入硬盤(pán),導(dǎo)致硬盤(pán)IO成為Redis負(fù)載的瓶頸。
- 命令追加的格式是Redis命令請(qǐng)求的協(xié)議格式,它是一種純文本格式,具有兼容性好、可讀性強(qiáng)、容易處理、操作簡(jiǎn)單避免二次開(kāi)銷(xiāo)等優(yōu)點(diǎn)。
- 在AOF文件中,除了用于指定數(shù)據(jù)庫(kù)的select命令(如select 0為選中0號(hào)數(shù)據(jù)庫(kù))是由Redis添加的,其他都是客戶(hù)端發(fā)送來(lái)的寫(xiě)命令。
(2)文件寫(xiě)入(write)和文件同步(sync)
- 根據(jù)不同的同步策略將aof_buf中的內(nèi)容同步到硬盤(pán);
- Redis提供了多種AOF緩存區(qū)的同步文件策略,策略涉及到操作系統(tǒng)的write函數(shù)和fsync函數(shù).
- 為了提高文件寫(xiě)入效率,在現(xiàn)代操作系統(tǒng)中,當(dāng)用戶(hù)調(diào)用write函數(shù)將數(shù)據(jù)寫(xiě)入文件時(shí),操作系統(tǒng)通常會(huì)將數(shù)據(jù)暫存到一個(gè)內(nèi)存緩沖區(qū)里,當(dāng)緩沖區(qū)被填滿(mǎn)或超過(guò)了指定時(shí)限后,才真正將緩沖區(qū)的數(shù)據(jù)寫(xiě)入到硬盤(pán)里。
- 這樣雖然提高了效率,但也帶來(lái)了安全問(wèn)題:如果計(jì)算機(jī)停機(jī),內(nèi)存緩沖區(qū)中的數(shù)據(jù)會(huì)丟失;因此系統(tǒng)同時(shí)提供了fsync、fdatasync等同步函數(shù),可以強(qiáng)制操作系統(tǒng)立刻將緩沖區(qū)中的數(shù)據(jù)寫(xiě)入到硬盤(pán)里,從而確保數(shù)據(jù)的安全性。
3.4.3.1 AOF緩存區(qū)的同步文件策略存在三種同步方式
vim /etc/redis/6379.conf
–729行–
●appendfsync always: 命令寫(xiě)入aof_buf后立即調(diào)用系統(tǒng)fsync操作同步到AOF文件,fsync完成后線(xiàn)程返回。這種情況下,每次有寫(xiě)命令都要同步到AOF文件,硬盤(pán)IO成為性能瓶頸,Redis只能支持大約幾百TPS寫(xiě)入,嚴(yán)重降低了Redis的性能;即便是使用固態(tài)硬盤(pán)(SSD),每秒大約也只能處理幾萬(wàn)個(gè)命令,而且會(huì)大大降低SSD的壽命。
●appendfsync no: 命令寫(xiě)入aof_buf后調(diào)用系統(tǒng)write操作,不對(duì)AOF文件做fsync同步;同步由操作系統(tǒng)負(fù)責(zé),通常同步周期為30秒。這種情況下,文件同步的時(shí)間不可控,且緩沖區(qū)中堆積的數(shù)據(jù)會(huì)很多,數(shù)據(jù)安全性無(wú)法保證。
●appendfsync everysec: 命令寫(xiě)入aof_buf后調(diào)用系統(tǒng)write操作,write完成后線(xiàn)程返回;fsync同步文件操作由專(zhuān)門(mén)的線(xiàn)程每秒調(diào)用一次。everysec是前述兩種策略的折中,是性能和數(shù)據(jù)安全性的平衡,因此是Redis的默認(rèn)配置,也是我們推薦的配置。
(3)文件重寫(xiě)(rewrite)
- 定期重寫(xiě)AOF文件,達(dá)到壓縮的目的。
- 隨著時(shí)間流逝,Redis服務(wù)器執(zhí)行的寫(xiě)命令越來(lái)越多,AOF文件也會(huì)越來(lái)越大;過(guò)大的AOF文件不僅會(huì)影響服務(wù)器的正常運(yùn)行,也會(huì)導(dǎo)致數(shù)據(jù)恢復(fù)需要的時(shí)間過(guò)長(zhǎng)。
- 文件重寫(xiě)是指定期重寫(xiě)AOF文件,減小AOF文件的體積。需要注意的是,AOF重寫(xiě)是把Redis進(jìn)程內(nèi)的數(shù)據(jù)轉(zhuǎn)化為寫(xiě)命令,同步到新的AOF文件;不會(huì)對(duì)舊的AOF文件進(jìn)行任何讀取、寫(xiě)入操作!
- 對(duì)于AOF持久化來(lái)說(shuō),文件重寫(xiě)雖然是強(qiáng)烈推薦的,但并不是必須的;即使沒(méi)有文件重寫(xiě),數(shù)據(jù)也可以被持久化并在Redis啟動(dòng)的時(shí)候?qū)?#xff1b;因此在一些現(xiàn)實(shí)中,會(huì)關(guān)閉自動(dòng)的文件重寫(xiě),然后通過(guò)定時(shí)任務(wù)在每天的某一時(shí)刻定時(shí)執(zhí)行。
3.4.3.2文件重寫(xiě)為何能夠壓縮AOF文件
●過(guò)期的數(shù)據(jù)不再寫(xiě)入文件
●無(wú)效的命令不再寫(xiě)入文件:如有些數(shù)據(jù)被重復(fù)設(shè)值(set mykey v1, set mykey v2)、有些數(shù)據(jù)被刪除了(set myset v1, del myset)等。
●多條命令可以合并為一個(gè):如sadd myset v1, sadd myset v2, sadd myset v3可以合并為sadd myset v1 v2 v3。
通過(guò)上述內(nèi)容可以看出,由于重寫(xiě)后AOF執(zhí)行的命令減少了,文件重寫(xiě)既可以減少文件占用的空間,也可以加快恢復(fù)速度。
3.4.3.3文件重寫(xiě)的觸發(fā),分為手動(dòng)觸發(fā)和自動(dòng)觸發(fā):
●手動(dòng)觸發(fā):直接調(diào)用bgrewriteaof命令,該命令的執(zhí)行與bgsave有些類(lèi)似:都是fork子進(jìn)程進(jìn)行具體的工作,且都只有在fork時(shí)阻塞。
●自動(dòng)觸發(fā):通過(guò)設(shè)置auto-aof-rewrite-min-size選項(xiàng)和auto-aof-rewrite-percentage選項(xiàng)來(lái)自動(dòng)執(zhí)行BGREWRITEAOF。 只有當(dāng)auto-aof-rewrite-min-size和auto-aof-rewrite-percentage兩個(gè)選項(xiàng)同時(shí)滿(mǎn)足時(shí),才會(huì)自動(dòng)觸發(fā)AOF重寫(xiě),即bgrewriteaof操作。
vim /etc/redis/6379.conf
–729–
●auto-aof-rewrite-percentage 100 :當(dāng)前AOF文件大小(即aof_current_size)是上次日志重寫(xiě)時(shí)AOF文件大小(aof_base_size)兩倍時(shí),發(fā)生BGREWRITEAOF操作
●auto-aof-rewrite-min-size 64mb :當(dāng)前AOF文件執(zhí)行BGREWRITEAOF命令的最小值,避免剛開(kāi)始啟動(dòng)Reids時(shí)由于文件尺寸較小導(dǎo)致頻繁的BGREWRITEAOF
關(guān)于文件重寫(xiě)的流程,有兩點(diǎn)需要特別注意:(1)重寫(xiě)由父進(jìn)程fork子進(jìn)程進(jìn)行;(2)重寫(xiě)期間Redis執(zhí)行的寫(xiě)命令,需要追加到新的AOF文件中,為此Redis引入了aof_rewrite_buf緩存。
3.4.4文件重寫(xiě)的流程如下:
(1)Redis父進(jìn)程首先判斷當(dāng)前是否存在正在執(zhí)行bgsave/bgrewriteaof的子進(jìn)程,如果存在則bgrewriteaof命令直接返回,如果存在 bgsave命令則等bgsave執(zhí)行完成后再執(zhí)行。
(2)父進(jìn)程執(zhí)行fork操作創(chuàng)建子進(jìn)程,這個(gè)過(guò)程中父進(jìn)程是阻塞的。
(3.1)父進(jìn)程fork后,bgrewriteaof命令返回”Background append only file rewrite started”信息并不再阻塞父進(jìn)程, 并可以響應(yīng)其他命令。Redis的所有寫(xiě)命令依然寫(xiě)入AOF緩沖區(qū),并根據(jù)appendfsync策略同步到硬盤(pán),保證原有AOF機(jī)制的正確。
(3.2)由于fork操作使用寫(xiě)時(shí)復(fù)制技術(shù),子進(jìn)程只能共享fork操作時(shí)的內(nèi)存數(shù)據(jù)。由于父進(jìn)程依然在響應(yīng)命令,因此Redis使用AOF重寫(xiě)緩沖區(qū)(aof_rewrite_buf)保存這部分?jǐn)?shù)據(jù),防止新AOF文件生成期間丟失這部分?jǐn)?shù)據(jù)。也就是說(shuō),bgrewriteaof執(zhí)行期間,Redis的寫(xiě)命令同時(shí)追加到aof_buf和aof_rewirte_buf兩個(gè)緩沖區(qū)。
(4)子進(jìn)程根據(jù)內(nèi)存快照,按照命令合并規(guī)則寫(xiě)入到新的AOF文件。
(5.1)子進(jìn)程寫(xiě)完新的AOF文件后,向父進(jìn)程發(fā)信號(hào),父進(jìn)程更新統(tǒng)計(jì)信息,具體可以通過(guò)info persistence查看。
(5.2)父進(jìn)程把AOF重寫(xiě)緩沖區(qū)的數(shù)據(jù)寫(xiě)入到新的AOF文件,這樣就保證了新AOF文件所保存的數(shù)據(jù)庫(kù)狀態(tài)和服務(wù)器當(dāng)前狀態(tài)一致。
(5.3)使用新的AOF文件替換老文件,完成AOF重寫(xiě)。
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來(lái)直接上傳(img-CoG74ZPm-1690457612628)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230726115030489.png)]
3.4.5啟動(dòng)時(shí)加載
(1)當(dāng)AOF開(kāi)啟時(shí),Redis啟動(dòng)時(shí)會(huì)優(yōu)先載入AOF文件來(lái)恢復(fù)數(shù)據(jù);只有當(dāng)AOF關(guān)閉時(shí),才會(huì)載入RDB文件恢復(fù)數(shù)據(jù)。
(2)當(dāng)AOF開(kāi)啟,但AOF文件不存在時(shí),即使RDB文件存在也不會(huì)加載。
(3)Redis載入AOF文件時(shí),會(huì)對(duì)AOF文件進(jìn)行校驗(yàn),如果文件損壞,則日志中會(huì)打印錯(cuò)誤,Redis啟動(dòng)失敗。但如果是AOF文件結(jié)尾不完整(機(jī)器突然宕機(jī)等容易導(dǎo)致文件尾部不完整),且aof-load-truncated參數(shù)開(kāi)啟,則日志中會(huì)輸出警告,Redis忽略掉AOF文件的尾部,啟動(dòng)成功。aof-load-truncated參數(shù)默認(rèn)是開(kāi)啟的。
3.4.6AOF持久化的優(yōu)缺點(diǎn)
(1)缺點(diǎn)
- 執(zhí)行語(yǔ)句一直的情況下,AOF備份的內(nèi)容更大,RDB備份的內(nèi)容較小、備份的時(shí)結(jié)果、語(yǔ)句
- AOF消耗的性能更大,占用磁盤(pán)越來(lái)越大(相當(dāng)于mysql的增備)
(2)優(yōu)點(diǎn)
- AOF的數(shù)據(jù)完整性比RDB高
- 重寫(xiě)功能會(huì)對(duì)無(wú)效的語(yǔ)句進(jìn)行刪除(目的是為了節(jié)省AOF文件占用磁盤(pán)空間
二.Redis 性能管理
1.查看Redis內(nèi)存使用
127.0.0.1:6379> info memory
2.內(nèi)存碎片率
2.1 什么是內(nèi)存碎片率
相當(dāng)于如有32個(gè)內(nèi)存,使用了24個(gè),則剩下的8個(gè)就是內(nèi)存碎片率
2.2 跟蹤內(nèi)存碎片率對(duì)理解Redis實(shí)例的資源性能
(1)內(nèi)存碎片率稍大于1是合理的,這個(gè)值表示內(nèi)存碎片率比較低,也說(shuō)明 Redis 沒(méi)有發(fā)生內(nèi)存交換。
(2)內(nèi)存碎片率超過(guò)1.5,說(shuō)明Redis消耗了實(shí)際需要物理內(nèi)存的150%,其中50%是內(nèi)存碎片率。需要在redis-cli工具上輸入shutdown save 命令,讓 Redis 數(shù)據(jù)庫(kù)執(zhí)行保存操作并關(guān)閉 Redis 服務(wù),再重啟服務(wù)器。
(3)內(nèi)存碎片率低于1的,說(shuō)明Redis內(nèi)存分配超出了物理內(nèi)存,操作系統(tǒng)正在進(jìn)行內(nèi)存交換。需要增加可用物理內(nèi)存或減少 Redis 內(nèi)存占用。
2.3 為什么會(huì)有內(nèi)存碎片
(1)redis存儲(chǔ)數(shù)據(jù)的時(shí)候,操作系統(tǒng)申請(qǐng)的內(nèi)存空間可能會(huì)大于實(shí)際需要的內(nèi)存空間
(2)頻繁修改redis中數(shù)據(jù)也會(huì)產(chǎn)生內(nèi)存碎片
3.內(nèi)存使用率
redis實(shí)例的內(nèi)存使用率超過(guò)可用最大內(nèi)存,操作系統(tǒng)將開(kāi)始進(jìn)行內(nèi)存與swap空間交換。
3.1 避免內(nèi)存交換發(fā)生的方法:
(1)針對(duì)緩存數(shù)據(jù)大小選擇安裝 Redis 實(shí)例
(2)盡可能的使用Hash數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)
(3)設(shè)置key的過(guò)期時(shí)間
4.內(nèi)回收key
內(nèi)存清理策略,保證合理分配redis有限的內(nèi)存資源。
當(dāng)達(dá)到設(shè)置的最大閥值時(shí),需選擇一種key的回收策略,默認(rèn)情況下回收策略是禁止刪除。
配置文件中修改 maxmemory-policy 屬性值:
vim /etc/redis/6379.conf
--598--
maxmemory-policy noenviction
●volatile-lru:使用LRU算法從已設(shè)置過(guò)期時(shí)間的數(shù)據(jù)集合中淘汰數(shù)據(jù)(移除最近最少使用的key,針對(duì)設(shè)置了TTL的key)
●volatile-ttl:從已設(shè)置過(guò)期時(shí)間的數(shù)據(jù)集合中挑選即將過(guò)期的數(shù)據(jù)淘汰(移除最近過(guò)期的key)
●volatile-random:從已設(shè)置過(guò)期時(shí)間的數(shù)據(jù)集合中隨機(jī)挑選數(shù)據(jù)淘汰(在設(shè)置了TTL的key里隨機(jī)移除)
●allkeys-lru:使用LRU算法從所有數(shù)據(jù)集合中淘汰數(shù)據(jù)(移除最少使用的key,針對(duì)所有的key)
●allkeys-random:從數(shù)據(jù)集合中任意選擇數(shù)據(jù)淘汰(隨機(jī)移除key)
●noenviction:禁止淘汰數(shù)據(jù)(不刪除直到寫(xiě)滿(mǎn)時(shí)報(bào)錯(cuò))
總
1.RDB和AOF基本理解
(1)RDB:周期性的把內(nèi)存中的數(shù)據(jù)保存在磁盤(pán)中
(2)AOF: 從Redis的操作日志記錄中將執(zhí)行的過(guò)程同步到磁盤(pán)中
2.RDB和AOF的持久化過(guò)程
(1)RDB
寫(xiě)入磁盤(pán)中保存的方式: 內(nèi)存中
寫(xiě)入磁盤(pán)中的保存的數(shù)據(jù)對(duì)象:結(jié)果數(shù)據(jù)
內(nèi)存寫(xiě)入磁盤(pán)后,會(huì)進(jìn)行壓縮,來(lái)減小*rdb的磁盤(pán)占用空間量
(2)AOF
內(nèi)存寫(xiě)入到append追加到緩沖區(qū)再調(diào)用CPU資源來(lái)寫(xiě)入到磁盤(pán)中
操作日志記錄中的執(zhí)行語(yǔ)句追加到緩沖調(diào)用CPU寫(xiě)入磁盤(pán)
內(nèi)存—緩沖—磁盤(pán),寫(xiě)入后,會(huì)周期性的進(jìn)行重寫(xiě),調(diào)過(guò)一些"無(wú)效操作”保存
3.RDB和AOF觸發(fā)方式
(1)RDB分為
- 手動(dòng)觸發(fā)
- 自動(dòng)觸發(fā):save m n(假設(shè)save 900 60,則表示900秒內(nèi)有60條語(yǔ)句執(zhí)行,則觸發(fā)RDB持久化)
特殊觸發(fā):當(dāng)手動(dòng)關(guān)閉Redis時(shí),會(huì)進(jìn)行RDB方式的持久化
/etc/init.d/redis 6379 stop restart
shutdown 關(guān)閉時(shí),kill 不會(huì)觸發(fā)
(2)AOF
- 手動(dòng)觸發(fā)
- 自動(dòng)觸發(fā)
always每條語(yǔ)句,同步執(zhí)行持久化(有強(qiáng)一致性要的場(chǎng)景)
no 從不進(jìn)行持久化
every second 每秒進(jìn)行一次AOE持久化(建議使用的,均衡型場(chǎng)景)
4、RDB和AOE優(yōu)先級(jí)
(1)因?yàn)閞edis默認(rèn)是將數(shù)據(jù)保存在內(nèi)存中,所以若redis啟動(dòng)、關(guān)閉時(shí)內(nèi)存中的數(shù)據(jù)會(huì)丟失
(2)在redis每次啟動(dòng)時(shí),都會(huì)讀取持久化文件,來(lái)會(huì)發(fā)數(shù)據(jù)到內(nèi)存中,以保證reids數(shù)據(jù)的完整性
(3)RDB和AOF優(yōu)先級(jí)aof>RDB
式的持久化
/etc/init.d/redis 6379 stop restart
shutdown 關(guān)閉時(shí),kill 不會(huì)觸發(fā)
(2)AOF
- 手動(dòng)觸發(fā)
- 自動(dòng)觸發(fā)
always每條語(yǔ)句,同步執(zhí)行持久化(有強(qiáng)一致性要的場(chǎng)景)
no 從不進(jìn)行持久化
every second 每秒進(jìn)行一次AOE持久化(建議使用的,均衡型場(chǎng)景)
4、RDB和AOE優(yōu)先級(jí)
(1)因?yàn)閞edis默認(rèn)是將數(shù)據(jù)保存在內(nèi)存中,所以若redis啟動(dòng)、關(guān)閉時(shí)內(nèi)存中的數(shù)據(jù)會(huì)丟失
(2)在redis每次啟動(dòng)時(shí),都會(huì)讀取持久化文件,來(lái)會(huì)發(fā)數(shù)據(jù)到內(nèi)存中,以保證reids數(shù)據(jù)的完整性
(3)RDB和AOF優(yōu)先級(jí)aof>RDB
配置文件可以指定啟動(dòng) 修改各個(gè)參數(shù)6379.conf