| 淘汰策略 | 說明 |
|---|---|
| volatile-lru | 根據 LRU 算法刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯 |
| allkeys-lru | 根據 LRU 算法刪除所有的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯 |
| volatile-lfu | 根據 LFU 算法刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯 |
| allkeys-lfu | 根據 LFU 算法刪除所有的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯 |
| volatile-random | 隨機刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯 |
| allkeys-random | 隨機刪除所有鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯 |
| volatile-ttl | 根據鍵值對象的 ttl 屬性, 刪除最近將要過期數據。 如果沒有,則直接報錯 |
| noeviction | 默認策略,不作任何處理,直接報錯 |
PS:淘汰策略也可以直接使用命令 config set maxmemory-policy 策略> 來進行動態配置。
LRU 全稱為:Least Recently Used。即:最近最長時間未被使用。這個主要針對的是使用時間。
Redis 改進后的 LRU 算法
在 Redis 當中,并沒有采用傳統的 LRU 算法,因為傳統的 LRU 算法存在 2 個問題:
key 值使用很頻繁,但是最近沒被使用,從而被 LRU 算法刪除。為了避免以上 2 個問題,Redis 當中對傳統的 LRU 算法進行了改造,通過抽樣的方式進行刪除。
配置文件中提供了一個屬性 maxmemory_samples 5,默認值就是 5,表示隨機抽取 5 個 key 值,然后對這 5 個 key 值按照 LRU 算法進行刪除,所以很明顯,key 值越大,刪除的準確度越高。
對抽樣 LRU 算法和傳統的 LRU 算法,Redis 官網當中有一個對比圖:

左上角第一幅圖代表的是傳統 LRU 算法,可以看到,當抽樣數達到 10 個(右上角),已經和傳統的 LRU 算法非常接近了。
Redis 如何管理熱度數據
前面我們講述字符串對象時,提到了 redisObject 對象中存在一個 lru 屬性:
typedef struct redisObject {
unsigned type:4;//對象類型(4位=0.5字節)
unsigned encoding:4;//編碼(4位=0.5字節)
unsigned lru:LRU_BITS;//記錄對象最后一次被應用程序訪問的時間(24位=3字節)
int refcount;//引用計數。等于0時表示可以被垃圾回收(32位=4字節)
void *ptr;//指向底層實際的數據存儲結構,如:SDS等(8字節)
} robj;
lru 屬性是創建對象的時候寫入,對象被訪問到時也會進行更新。正常人的思路就是最后決定要不要刪除某一個鍵肯定是用當前時間戳減去 lru,差值最大的就優先被刪除。但是 Redis 里面并不是這么做的,Redis 中維護了一個全局屬性 lru_clock,這個屬性是通過一個全局函數 serverCron 每隔 100 毫秒執行一次來更新的,記錄的是當前 unix 時間戳。
最后決定刪除的數據是通過 lru_clock 減去對象的 lru 屬性而得出的。那么為什么 Redis 要這么做呢?直接取全局時間不是更準確嗎?
這是因為這么做可以避免每次更新對象的 lru 屬性的時候可以直接取全局屬性,而不需要去調用系統函數來獲取系統時間,從而提升效率(Redis 當中有很多這種細節考慮來提升性能,可以說是對性能盡可能的優化到極致)。
不過這里還有一個問題,我們看到,redisObject 對象中的 lru 屬性只有 24 位,24 位只能存儲 194 天的時間戳大小,一旦超過 194 天之后就會重新從 0 開始計算,所以這時候就可能會出現 redisObject 對象中的 lru 屬性大于全局的 lru_clock 屬性的情況。
正因為如此,所以計算的時候也需要分為 2 種情況:
lruclock > lru,則使用 lruclock - lru 得到空閑時間。lruclock lru,則使用 lruclock_max(即 194 天) - lru + lruclock 得到空閑時間。需要注意的是,這種計算方式并不能保證抽樣的數據中一定能刪除空閑時間最長的。這是因為首先超過 194 天還不被使用的情況很少,再次只有 lruclock 第 2 輪繼續超過 lru 屬性時,計算才會出問題。
比如對象 A 記錄的 lru 是 1 天,而 lruclock 第二輪都到 10 天了,這時候就會導致計算結果只有 10-1=9 天,實際上應該是 194+10-1=203 天。但是這種情況可以說又是更少發生,所以說這種處理方式是可能存在刪除不準確的情況,但是本身這種算法就是一種近似的算法,所以并不會有太大影響。
LFU 全稱為:Least Frequently Used。即:最近最少頻率使用,這個主要針對的是使用頻率。這個屬性也是記錄在redisObject 中的 lru 屬性內。
當我們采用 LFU 回收策略時,lru 屬性的高 16 位用來記錄訪問時間(last decrement time:ldt,單位為分鐘),低 8 位用來記錄訪問頻率(logistic counter:logc),簡稱 counter。
訪問頻次遞增
LFU 計數器每個鍵只有 8 位,它能表示的最大值是 255,所以 Redis 使用的是一種基于概率的對數器來實現 counter 的遞增。r
給定一個舊的訪問頻次,當一個鍵被訪問時,counter 按以下方式遞增:
0 和 1 之間的隨機數 R。counter - 初始值(默認為 5),得到一個基礎差值,如果這個差值小于 0,則直接取 0,為了方便計算,把這個差值記為 baseval。P 計算公式為:1/(baseval * lfu_log_factor + 1)。R P 時,頻次進行遞增(counter++)。公式中的 lfu_log_factor 稱之為對數因子,默認是 10 ,可以通過參數來進行控制:
lfu_log_factor 10
下圖就是對數因子 lfu_log_factor 和頻次 counter 增長的關系圖:

可以看到,當對數因子 lfu_log_factor 為 100 時,大概是 10M(1000萬) 次訪問才會將訪問 counter 增長到 255,而默認的 10 也能支持到 1M(100萬) 次訪問 counter 才能達到 255 上限,這在大部分場景都是足夠滿足需求的。
如果訪問頻次 counter 只是一直在遞增,那么遲早會全部都到 255,也就是說 counter 一直遞增不能完全反應一個 key 的熱度的,所以當某一個 key 一段時間不被訪問之后,counter 也需要對應減少。
counter 的減少速度由參數 lfu-decay-time 進行控制,默認是 1,單位是分鐘。默認值 1 表示:N 分鐘內沒有訪問,counter 就要減 N。
lfu-decay-time 1
具體算法如下:
16 位(為了方便后續計算,這個值記為 now)。lru 屬性中的高 16 位(為了方便后續計算,這個值記為 ldt)。lru > now 時,默認為過了一個周期(16 位,最大 65535),則取差值 65535-ldt+now:當 lru = now 時,取差值 now-ldt(為了方便后續計算,這個差值記為 idle_time )。lfu_decay_time 值,然后計算:idle_time / lfu_decay_time(為了方便后續計算,這個值記為num_periods)。counter減少:counter - num_periods。看起來這么復雜,其實計算公式就是一句話:取出當前的時間戳和對象中的 lru 屬性進行對比,計算出當前多久沒有被訪問到,比如計算得到的結果是 100 分鐘沒有被訪問,然后再去除配置參數 lfu_decay_time,如果這個配置默認為 1也即是 100/1=100,代表 100 分鐘沒訪問,所以 counter 就減少 100。
本文主要介紹了 Redis 過期鍵的處理策略,以及當服務器內存不夠時 Redis 的 8 種淘汰策略,最后介紹了 Redis 中的兩種主要的淘汰算法 LRU 和 LFU。
到此這篇關于淺談內存耗盡后Redis會發生什么的文章就介紹到這了,更多相關Redis內存耗盡內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!
上一篇:Redis持久化深入詳解