婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > 淺談內存耗盡后Redis會發生什么

淺談內存耗盡后Redis會發生什么

熱門標簽:日本中國地圖標注 北京400電話辦理收費標準 宿遷便宜外呼系統平臺 山東外呼銷售系統招商 超呼電話機器人 鄭州人工智能電銷機器人系統 貴州電銷卡外呼系統 十堰營銷電銷機器人哪家便宜 魔獸2青云地圖標注

前言

作為一臺服務器來說,內存并不是無限的,所以總會存在內存耗盡的情況,那么當 Redis 服務器的內存耗盡后,如果繼續執行請求命令,Redis 會如何處理呢?

內存回收

使用Redis 服務時,很多情況下某些鍵值對只會在特定的時間內有效,為了防止這種類型的數據一直占有內存,我們可以給鍵值對設置有效期。Redis 中可以通過 4 個獨立的命令來給一個鍵設置過期時間:

  • expire key ttl:將 key 值的過期時間設置為 ttl 秒。
  • pexpire key ttl:將 key 值的過期時間設置為 ttl 毫秒。
  • expireat key timestamp:將 key 值的過期時間設置為指定的 timestamp 秒數。
  • pexpireat key timestamp:將 key 值的過期時間設置為指定的 timestamp 毫秒數。

PS:不管使用哪一個命令,最終 Redis 底層都是使用 pexpireat 命令來實現的。另外,set 等命令也可以設置 key 的同時加上過期時間,這樣可以保證設值和設過期時間的原子性。

設置了有效期后,可以通過 ttlpttl 兩個命令來查詢剩余過期時間(如果未設置過期時間則下面兩個命令返回 -1,如果設置了一個非法的過期時間,則都返回 -2):

  • ttl key 返回 key 剩余過期秒數。
  • pttl key 返回 key 剩余過期的毫秒數。

過期策略

如果將一個過期的鍵刪除,我們一般都會有三種策略:

  • 定時刪除:為每個鍵設置一個定時器,一旦過期時間到了,則將鍵刪除。這種策略對內存很友好,但是對 CPU 不友好,因為每個定時器都會占用一定的 CPU 資源。
  • 惰性刪除:不管鍵有沒有過期都不主動刪除,等到每次去獲取鍵時再判斷是否過期,如果過期就刪除該鍵,否則返回鍵對應的值。這種策略對內存不夠友好,可能會浪費很多內存。
  • 定期掃描:系統每隔一段時間就定期掃描一次,發現過期的鍵就進行刪除。這種策略相對來說是上面兩種策略的折中方案,需要注意的是這個定期的頻率要結合實際情況掌控好,使用這種方案有一個缺陷就是可能會出現已經過期的鍵也被返回。

Redis 當中,其選擇的是策略 2 和策略 3 的綜合使用。不過 Redis 的定期掃描只會掃描設置了過期時間的鍵,因為設置了過期時間的鍵 Redis 會單獨存儲,所以不會出現掃描所有鍵的情況:

typedef struct redisDb {
  dict *dict; //所有的鍵值對
  dict *expires; //設置了過期時間的鍵值對
  dict *blocking_keys; //被阻塞的key,如客戶端執行BLPOP等阻塞指令時
  dict *watched_keys; //WATCHED keys
  int id; //Database ID
  //... 省略了其他屬性
} redisDb;

8 種淘汰策略

假如 Redis 當中所有的鍵都沒有過期,而且此時內存滿了,那么客戶端繼續執行 set 等命令時 Redis 會怎么處理呢?Redis 當中提供了不同的淘汰策略來處理這種場景。

首先 Redis 提供了一個參數 maxmemory 來配置 Redis 最大使用內存:

maxmemory bytes>

或者也可以通過命令 config set maxmemory 1GB 來動態修改。

如果沒有設置該參數,那么在 32 位的操作系統中 Redis 最多使用 3GB 內存,而在 64 位的操作系統中則不作限制。

Redis 中提供了 8 種淘汰策略,可以通過參數 maxmemory-policy 進行配置:

淘汰策略 說明
volatile-lru 根據 LRU 算法刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
allkeys-lru 根據 LRU 算法刪除所有的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
volatile-lfu 根據 LFU 算法刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
allkeys-lfu 根據 LFU 算法刪除所有的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
volatile-random 隨機刪除設置了過期時間的鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
allkeys-random 隨機刪除所有鍵,直到騰出可用空間。如果沒有可刪除的鍵對象,且內存還是不夠用時,則報錯
volatile-ttl 根據鍵值對象的 ttl 屬性, 刪除最近將要過期數據。 如果沒有,則直接報錯
noeviction 默認策略,不作任何處理,直接報錯

PS:淘汰策略也可以直接使用命令 config set maxmemory-policy 策略> 來進行動態配置。

LRU 算法

LRU 全稱為:Least Recently Used。即:最近最長時間未被使用。這個主要針對的是使用時間。

Redis 改進后的 LRU 算法

Redis 當中,并沒有采用傳統的 LRU 算法,因為傳統的 LRU 算法存在 2 個問題:

  • 需要額外的空間進行存儲。
  • 可能存在某些 key 值使用很頻繁,但是最近沒被使用,從而被 LRU 算法刪除。

為了避免以上 2 個問題,Redis 當中對傳統的 LRU 算法進行了改造,通過抽樣的方式進行刪除。

配置文件中提供了一個屬性 maxmemory_samples 5,默認值就是 5,表示隨機抽取 5key 值,然后對這 5key 值按照 LRU 算法進行刪除,所以很明顯,key 值越大,刪除的準確度越高。

對抽樣 LRU 算法和傳統的 LRU 算法,Redis 官網當中有一個對比圖:

  • 淺灰色帶是被刪除的對象。
  • 灰色帶是未被刪除的對象。
  • 綠色是添加的對象。

左上角第一幅圖代表的是傳統 LRU 算法,可以看到,當抽樣數達到 10 個(右上角),已經和傳統的 LRU 算法非常接近了。

Redis 如何管理熱度數據

前面我們講述字符串對象時,提到了 redisObject 對象中存在一個 lru 屬性:

typedef struct redisObject {
  unsigned type:4;//對象類型(4位=0.5字節)
  unsigned encoding:4;//編碼(4位=0.5字節)
  unsigned lru:LRU_BITS;//記錄對象最后一次被應用程序訪問的時間(24位=3字節)
  int refcount;//引用計數。等于0時表示可以被垃圾回收(32位=4字節)
  void *ptr;//指向底層實際的數據存儲結構,如:SDS等(8字節)
} robj;

lru 屬性是創建對象的時候寫入,對象被訪問到時也會進行更新。正常人的思路就是最后決定要不要刪除某一個鍵肯定是用當前時間戳減去 lru,差值最大的就優先被刪除。但是 Redis 里面并不是這么做的,Redis 中維護了一個全局屬性 lru_clock,這個屬性是通過一個全局函數 serverCron 每隔 100 毫秒執行一次來更新的,記錄的是當前 unix 時間戳。

最后決定刪除的數據是通過 lru_clock 減去對象的 lru 屬性而得出的。那么為什么 Redis 要這么做呢?直接取全局時間不是更準確嗎?

這是因為這么做可以避免每次更新對象的 lru 屬性的時候可以直接取全局屬性,而不需要去調用系統函數來獲取系統時間,從而提升效率(Redis 當中有很多這種細節考慮來提升性能,可以說是對性能盡可能的優化到極致)。

不過這里還有一個問題,我們看到,redisObject 對象中的 lru 屬性只有 24 位,24 位只能存儲 194 天的時間戳大小,一旦超過 194 天之后就會重新從 0 開始計算,所以這時候就可能會出現 redisObject 對象中的 lru 屬性大于全局的 lru_clock 屬性的情況。

正因為如此,所以計算的時候也需要分為 2 種情況:

  • 當全局 lruclock > lru,則使用 lruclock - lru 得到空閑時間。
  • 當全局 lruclock lru,則使用 lruclock_max(即 194 天) - lru + lruclock 得到空閑時間。

需要注意的是,這種計算方式并不能保證抽樣的數據中一定能刪除空閑時間最長的。這是因為首先超過 194 天還不被使用的情況很少,再次只有 lruclock2 輪繼續超過 lru 屬性時,計算才會出問題。

比如對象 A 記錄的 lru1 天,而 lruclock 第二輪都到 10 天了,這時候就會導致計算結果只有 10-1=9 天,實際上應該是 194+10-1=203 天。但是這種情況可以說又是更少發生,所以說這種處理方式是可能存在刪除不準確的情況,但是本身這種算法就是一種近似的算法,所以并不會有太大影響。

LFU 算法

LFU 全稱為:Least Frequently Used。即:最近最少頻率使用,這個主要針對的是使用頻率。這個屬性也是記錄在redisObject 中的 lru 屬性內。

當我們采用 LFU 回收策略時,lru 屬性的高 16 位用來記錄訪問時間(last decrement time:ldt,單位為分鐘),低 8 位用來記錄訪問頻率(logistic counter:logc),簡稱 counter

訪問頻次遞增

LFU 計數器每個鍵只有 8 位,它能表示的最大值是 255,所以 Redis 使用的是一種基于概率的對數器來實現 counter 的遞增。r

給定一個舊的訪問頻次,當一個鍵被訪問時,counter 按以下方式遞增:

  • 提取 01 之間的隨機數 R
  • counter - 初始值(默認為 5),得到一個基礎差值,如果這個差值小于 0,則直接取 0,為了方便計算,把這個差值記為 baseval
  • 概率 P 計算公式為:1/(baseval * lfu_log_factor + 1)
  • 如果 R P 時,頻次進行遞增(counter++)。

公式中的 lfu_log_factor 稱之為對數因子,默認是 10 ,可以通過參數來進行控制:

lfu_log_factor 10

下圖就是對數因子 lfu_log_factor 和頻次 counter 增長的關系圖:

可以看到,當對數因子 lfu_log_factor100 時,大概是 10M(1000萬) 次訪問才會將訪問 counter 增長到 255,而默認的 10 也能支持到 1M(100萬) 次訪問 counter 才能達到 255 上限,這在大部分場景都是足夠滿足需求的。

訪問頻次遞減

如果訪問頻次 counter 只是一直在遞增,那么遲早會全部都到 255,也就是說 counter 一直遞增不能完全反應一個 key 的熱度的,所以當某一個 key 一段時間不被訪問之后,counter 也需要對應減少。

counter 的減少速度由參數 lfu-decay-time 進行控制,默認是 1,單位是分鐘。默認值 1 表示:N 分鐘內沒有訪問,counter 就要減 N

lfu-decay-time 1

具體算法如下:

  • 獲取當前時間戳,轉化為分鐘后取低 16 位(為了方便后續計算,這個值記為 now)。
  • 取出對象內的 lru 屬性中的高 16 位(為了方便后續計算,這個值記為 ldt)。
  • lru > now 時,默認為過了一個周期(16 位,最大 65535),則取差值 65535-ldt+now:當 lru = now 時,取差值 now-ldt(為了方便后續計算,這個差值記為 idle_time )。
  • 取出配置文件中的 lfu_decay_time 值,然后計算:idle_time / lfu_decay_time(為了方便后續計算,這個值記為num_periods)。
  • 最后將counter減少:counter - num_periods

看起來這么復雜,其實計算公式就是一句話:取出當前的時間戳和對象中的 lru 屬性進行對比,計算出當前多久沒有被訪問到,比如計算得到的結果是 100 分鐘沒有被訪問,然后再去除配置參數 lfu_decay_time,如果這個配置默認為 1也即是 100/1=100,代表 100 分鐘沒訪問,所以 counter 就減少 100

總結

本文主要介紹了 Redis 過期鍵的處理策略,以及當服務器內存不夠時 Redis8 種淘汰策略,最后介紹了 Redis 中的兩種主要的淘汰算法 LRULFU

到此這篇關于淺談內存耗盡后Redis會發生什么的文章就介紹到這了,更多相關Redis內存耗盡內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • redis內存空間效率問題的深入探究
  • redis 限制內存使用大小的實現
  • redis 使用lettuce 啟動內存泄漏錯誤的解決方案
  • 一次關于Redis內存詭異增長的排查過程實戰記錄
  • 淺談redis內存數據的持久化方式
  • 內存型數據庫Redis持久化小結
  • 降低PHP Redis內存占用
  • Redis教程(十四):內存優化介紹
  • 詳解Redis瘦身指南

標簽:楊凌 果洛 吉安 江蘇 北京 大慶 臺州 朝陽

巨人網絡通訊聲明:本文標題《淺談內存耗盡后Redis會發生什么》,本文關鍵詞  淺談,內存,耗盡,后,Redis,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《淺談內存耗盡后Redis會發生什么》相關的同類信息!
  • 本頁收集關于淺談內存耗盡后Redis會發生什么的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    成人午夜在线播放| 久久久久久免费毛片精品| 国产精品一区专区| 国产美女娇喘av呻吟久久| 国产一区视频在线看| 国产伦精品一区二区三区免费| 国产精品一区不卡| aaa国产一区| 欧美人与z0zoxxxx视频| 欧美mv日韩mv| 亚洲精品国产精华液| 日日骚欧美日韩| 国产成人免费在线观看不卡| 色偷偷一区二区三区| 欧美精品日日鲁夜夜添| 日韩三级免费观看| 国产精品家庭影院| 青青草伊人久久| www.爱久久.com| 欧美一区二区成人6969| 久久精品一区二区三区不卡| 亚洲精品乱码久久久久久日本蜜臀| 午夜欧美视频在线观看| 国产毛片精品国产一区二区三区| 91在线观看视频| 日韩精品中午字幕| 亚洲免费观看高清完整| 久久不见久久见免费视频1| 91小视频免费观看| 久久这里只有精品视频网| 一区二区三区蜜桃| 国产成人精品在线看| 欧美精品自拍偷拍| 国产精品色呦呦| 青草av.久久免费一区| 97久久精品人人做人人爽| 精品国产自在久精品国产| 亚洲一区免费在线观看| 国产不卡免费视频| 欧美一区二区三区的| 亚洲特级片在线| 国产美女精品人人做人人爽| 欧美日本乱大交xxxxx| 17c精品麻豆一区二区免费| 精品中文av资源站在线观看| 欧美日韩国产另类不卡| 自拍偷拍亚洲欧美日韩| 国产成人欧美日韩在线电影| 91精品国产综合久久小美女| 亚洲国产中文字幕| 91精品91久久久中77777| 国产精品成人在线观看| 国产成人精品一区二区三区四区| 欧美本精品男人aⅴ天堂| 偷窥国产亚洲免费视频| 欧美网站一区二区| 亚洲一区二区三区四区在线| 色综合久久99| 亚洲日本一区二区| 91麻豆高清视频| 自拍偷在线精品自拍偷无码专区| 99免费精品视频| 综合激情成人伊人| 色综合久久中文字幕| 伊人性伊人情综合网| 色婷婷av久久久久久久| 亚洲国产视频a| 在线播放中文一区| 午夜免费欧美电影| 欧美日韩在线播放三区| 亚洲va韩国va欧美va| 5月丁香婷婷综合| 蜜芽一区二区三区| 日韩欧美在线网站| 国产美女娇喘av呻吟久久| 国产三级三级三级精品8ⅰ区| 国产福利91精品| 国产精品乱码妇女bbbb| 一本高清dvd不卡在线观看| 亚洲综合久久av| 欧美日韩精品高清| 精品综合久久久久久8888| 久久精品一二三| 91麻豆国产福利精品| 五月天丁香久久| 精品国产乱码久久久久久浪潮| 国产成人自拍高清视频在线免费播放| 中文字幕av一区二区三区高| 91丨九色丨尤物| 亚洲国产wwwccc36天堂| 欧美成人女星排名| 成人黄色国产精品网站大全在线免费观看| 亚洲三级小视频| 日韩欧美亚洲国产另类| 国产成人精品在线看| 亚洲国产va精品久久久不卡综合| 日韩欧美aaaaaa| 波多野结衣精品在线| 亚洲成人免费在线| 久久婷婷综合激情| 91老师国产黑色丝袜在线| 日韩电影一区二区三区四区| 国产三级精品视频| 欧美亚洲高清一区二区三区不卡| 蜜桃一区二区三区在线观看| 国产拍欧美日韩视频二区| 欧美色综合影院| 国产福利一区二区三区| 亚洲国产婷婷综合在线精品| 国产日韩亚洲欧美综合| 欧美中文字幕一二三区视频| 国产一区二区不卡| 亚洲综合清纯丝袜自拍| 日本一区二区三区久久久久久久久不 | 精品一区二区三区在线播放视频 | 久久精品999| 一区二区欧美精品| 久久综合色婷婷| 欧美久久一二三四区| av在线综合网| 国产毛片一区二区| 日本aⅴ免费视频一区二区三区| 中文字幕一区免费在线观看| 日韩精品一区在线观看| 欧美在线影院一区二区| 成人的网站免费观看| 精久久久久久久久久久| 青草国产精品久久久久久| 亚洲成av人片一区二区三区| 亚洲欧洲性图库| 国产欧美日韩视频在线观看| 日韩你懂的电影在线观看| 欧日韩精品视频| 91啪亚洲精品| av亚洲精华国产精华精华| 国产精品1区2区| 国产一区二区三区在线观看免费视频 | 波多野结衣91| 国产精品一区二区久久精品爱涩| 亚洲福利国产精品| 国产精品久久久久一区二区三区| 欧美电影免费提供在线观看| 91久久一区二区| 日韩精品一区二区在线观看| 欧美高清一级片在线| 欧美日韩一区二区三区不卡| 欧美色精品天天在线观看视频| 色一区在线观看| 91网站视频在线观看| 不卡一二三区首页| 国产精品成人午夜| 亚洲桃色在线一区| 亚洲精品欧美专区| 一区二区三区精品久久久| 一区二区三区精品| 亚洲mv在线观看| 午夜精彩视频在线观看不卡| 婷婷亚洲久悠悠色悠在线播放| 五月天丁香久久| 精品一二三四区| 成人午夜在线免费| 日本乱人伦一区| 欧美日高清视频| 欧美不卡激情三级在线观看| 久久综合网色—综合色88| 国产日韩欧美高清| 综合久久国产九一剧情麻豆| 亚洲精选视频免费看| 亚洲va韩国va欧美va| 精品午夜久久福利影院| av电影在线观看完整版一区二区| 91国偷自产一区二区三区观看| 欧美猛男男办公室激情| 欧美精品一区二区三区在线| 国产精品久久久久久久久免费桃花| 亚洲精品乱码久久久久| 免费日本视频一区| 国产丶欧美丶日本不卡视频| 色又黄又爽网站www久久| 日韩一区二区不卡| 中文字幕乱码亚洲精品一区| 亚洲午夜在线视频| 精品一区在线看| 91香蕉国产在线观看软件| 精品乱人伦一区二区三区| 中文字幕亚洲区| 日本vs亚洲vs韩国一区三区| www.成人网.com| 26uuu久久天堂性欧美| 亚洲va欧美va人人爽午夜| 97久久超碰国产精品| 精品黑人一区二区三区久久| 亚洲精品成人在线| 精品无码三级在线观看视频| 欧美色图激情小说| 中文字幕一区日韩精品欧美| 国产高清久久久| 欧美成人一区二区| 麻豆精品视频在线观看免费| 国产婷婷一区二区|