婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Redis全量復制與部分復制示例詳解

Redis全量復制與部分復制示例詳解

熱門標簽:廊坊外呼系統在哪買 臺灣電銷 b2b外呼系統 南京手機外呼系統廠家 高碑店市地圖標注app 四川穩定外呼系統軟件 400電話辦理的口碑 一個地圖標注多少錢 地圖標注工廠入駐

Redis 主從復制

  • Redis 實例劃分為主節點(master)和從節點(slave)
  • 默認情況下,Redis都是主節點
  • 每個從節點只能有一個主節點,而主節點可以同時具有多個從節點
  • 復制的數據流是單向的,只能由主節點復制到從節點
  • slaveof 命令在使用時,可以運行期動態配置,也可以提前寫到配置文件中
  • 主從復制

步驟 詳細描述
保存主節點信息 執行slaveof后從節點只保存主節點的地址信息便直接返回
主從建立socket連接 從節點(slave)內部通過每秒運行的定時任務維護復制相關邏輯,當定時任務發現存在新的主節點后,會嘗試與該節點建立網絡連接;從節點會建立一個socket套接字,專門用于接受住節點發送的復制命令;如果從節點無法建立連接,定時任務會無限重試直到連接成功或者執行 slaveof no one 取消復制
發送ping命令 連接建立成功后從節點發送ping請求進行首次通信,ping請求的目的:檢測主從之間套接字是否可用;檢測主節點當前是否可接受處理命令.如果發送ping命令后,從節點沒有收到主節點的pong回復或者超時,比如網絡超時或者主節點正在阻塞無法響應命令,從節點會端口復制連接,下次定時任務會發起重連
權限驗證 如果主節點設置了requirepass 參數,則需要密碼驗證,從節點必須配置masterauth參數保證與主節點相同的密碼才能通過驗證;如果驗證失敗復制將終止,從節點重新發起復制流程
同步數據集 主從復制連接正常通信后,對于首次建立復制的場景,主節點會把持有的數據全部發送給從節點.
命令持續復制 當主節點把當前的數據同步給從節點后,變成了復制的建立流程,接下來主節點會持續地把寫命令發送給從節點,保證主從數據一致性

  • 啟動6380、6381
  • 6381 執行命令
127.0.0.1:6381> slaveof 127.0.0.1 6380

Redis5.0.0 改為 : replicaof masterip> masterport>
  • 6380 啟動

6381 啟動

查看info replication

數據同步

類型 描述
全量復制 一般用于初次復制場景,Redis早期支持的復制功能只有全量復制,它會把主節點全部數據一次性發送給從節點,當數據量較大時,會對主從節點和網絡造成很大的開銷
部分復制 用于處理在主從復制中因網絡閃斷等原因造成的數據丟失場景,當從節點再次連上主節點后,如果條件允許,主節點會補發丟失數據給從節點。因為補發的數據遠遠小于全量數據,可以有效避免全量復制的過高開銷

復制偏移量

參數 描述
master_repl_offset 參與復制的主從節點都會維護自身復制偏移量。主節點(master)在處理完寫入命令后,會把命令的字節長度做累加記錄,統計信息在info replication中的master_repl_offset指標中
slave0 從節點(slave) 每秒鐘上報自身的復制偏移量給主節點,因此主節點也會保存從節點的復制偏移量
slave_repl_offset 從節點在接收到主節點發送的命令后,也會累加記錄自身的偏移量。

復制積壓緩沖區

  • 復制積壓緩沖區是保存在主節點上的一個固定長度的隊列,默認大小為1MB,當主節點有連接的從節點(slave)時被創建,這是主節點(master)響應寫命令時,不但會把命名發送給從節點,還會寫入復制積壓緩沖區
  • 由于緩沖區本質上是先進先出的定長隊列,所以能實現保存最近已復制數據的功能,用于部分復制和復制命令丟失的數據補救

參數 描述
repl_backlog_active:1 開啟復制緩沖區
repl_backlog_size:1048576 緩沖區最大長度
repl_backlog_first_byte_offset:1 起始偏移量,計算當前緩沖區可用范圍
repl_backlog_histlen:2301 已保存數據的有效長度
master_replid 主節點實例的master_replid相同
master_replid2 未發生切換,即主實例未發生過變化,所以初始值為0

psync 命令

從節點使用psync命令完成部分復制和全量復制功能

30227:M 05 Aug 2019 18:52:44.698 * Replica 127.0.0.1:6381 asks for synchronization
30227:M 05 Aug 2019 18:52:44.698 * Partial resynchronization not accepted: Replication ID mismatch (Replica asked for 'e7d71fb600183a175afadbd1354e97edddb2541a', my replication IDs are 'e24f6e42917e7c162ec45a713b0ee3872005ee8b' and '0000000000000000000000000000000000000000')

6381 從節點打印分析

31771:S 06 Aug 2019 12:21:40.213 * DB loaded from disk: 0.000 seconds
31771:S 06 Aug 2019 12:21:40.213 * Before turning into a replica, using my master parameters to synthesize a cached master: I may be able to synchronize with the new master with just a partial transfer.
#啟動成功
31771:S 06 Aug 2019 12:21:40.213 * Ready to accept connections
# 開始連接主節點
31771:S 06 Aug 2019 12:21:40.214 * Connecting to MASTER 127.0.0.1:6380
# 開始同步
31771:S 06 Aug 2019 12:21:40.214 * MASTER -> REPLICA sync started
31771:S 06 Aug 2019 12:21:40.214 * Non blocking connect for SYNC fired the event.
31771:S 06 Aug 2019 12:21:40.214 * Master replied to PING, replication can continue...
# 嘗試增量同步
31771:S 06 Aug 2019 12:21:40.214 * Trying a partial resynchronization (request 668b25f85e84c5900e1032e4b5e1f038f01cfa49:5895).
# 全量同步
31771:S 06 Aug 2019 12:21:40.215 * Full resync from master: c88cd043d66193e867929d9d5fadc952954371e5:0
31771:S 06 Aug 2019 12:21:40.215 * Discarding previously cached master state.
31771:S 06 Aug 2019 12:21:40.240 * MASTER -> REPLICA sync: receiving 224 bytes from master
31771:S 06 Aug 2019 12:21:40.241 * MASTER -> REPLICA sync: Flushing old data
31771:S 06 Aug 2019 12:21:40.241 * MASTER -> REPLICA sync: Loading DB in memory
31771:S 06 Aug 2019 12:21:40.241 * MASTER -> REPLICA sync: Finished with success

全量復制

  • 全量復制是Redis最早支持的復制方式,也是主從第一次建立復制時必須經歷的階段。觸發全量復制的命令是sync和psync
    • 發送psync命令進行數據同步,由于是第一次進行復制,從節點沒有復制偏移量和主節點的運行ID,所以發送psync-1
    • 主節點根據psync-1解析出當前為全量復制,回復+FULLRESYNC響應
    • 從節點接收主節點的響應數據保存運行ID和偏移量offset
    • 主節點執行bgsave保存RDB文件到本地
31651:M 06 Aug 2019 11:08:40.802 * Starting BGSAVE for SYNC with target: disk
31651:M 06 Aug 2019 11:08:40.802 * Background saving started by pid 31676
31676:C 06 Aug 2019 11:08:40.805 * DB saved on disk
31676:C 06 Aug 2019 11:08:40.806 * RDB: 0 MB of memory used by copy-on-write
31651:M 06 Aug 2019 11:08:40.886 * Background saving terminated with success
31651:M 06 Aug 2019 11:08:40.886 * Synchronization with replica 127.0.0.1:6381 succeeded
  • 主節點發送RDB給從節點,從節點把接收的RDB文件保存在本地并直接作為從節點的數據文件,接收完RDB后從節點打印相關日志
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: receiving 224 bytes from master
  • 對于從節點開始接收RDB快照到接收完成期間,主節點仍然響應讀寫命令,因此主節點會把這期間寫命令數據保存在復制客戶端緩沖區內,當從節點加載完RDB文件后,主節點再把緩沖區內的數據發送個從節點,保證主從之間數據一致性。
  • redis.conf 配置
client-output-buffer-limit replica 256mb 64mb 60
  • 如果主節點創建和傳輸RDB的時間過長,對于高流量寫入場景非常容易造成主節點復制客戶端緩沖區溢出。默認配置如上所示,如果60秒內緩沖區消耗持續大于64MB或者直接超過256MB時,主節點將直接關閉復制客戶端連接,造成全量同步失敗
  • 對于主節點,當發送完所有的數據后就認為全量復制完成.
31651:M 06 Aug 2019 11:08:40.886 * Synchronization with replica 127.0.0.1:6381 succeeded
  • 從節點接收完主節點傳送來的全部數據后會清空自身舊數據
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: Flushing old data
  • 從節點清空數據后開始加載RDB文件,對于較大的RDB文件,這一步操作依然比較耗時,可以通過計算日志之間的時間差來判斷加載RDB的總耗時
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: Loading DB in memory
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: Finished with success
  • 從節點成功加載完RDB后,如果當前節點開啟了AOF持久化功能,它會立刻做bgrewriteaof操作,為了保證全量復制后AOF持久化文件立刻可用。
  • 全量復制耗時的原因:
    • 主節點bgsave時間
    • RDB文件網絡傳輸時間
    • 從節點清空數據時間
    • 可能的AOF重寫時間
  • 以下為Redis 3.0才會有

標識 含義
M 當前為主節點日志
S 當前為從節點日志
C 子進程日志

部分復制

  • 部分復制主要是Redis針對全量復制的過高開銷做出的一種優化措施,使用psync {runId}{offset}命令實現。當從節點(slave)正在復制主節點(master)時,如果出現網絡閃斷或者命令丟失等異常情況時,從節點會向主節點要求補發丟失的命令數據,如果主節點的復制積壓緩沖區內存咋這部分數據則直接發送給從節點,這樣就可以保持主從節點復制的一致性。補發的這部分數據一般遠遠小于全量數據.
    • 當主節點直接網絡出現中斷是,如果超過repl-timeout時間,主節點會認為從節點故障并中斷復制連接
31767:M 06 Aug 2019 14:13:26.096 # Connection with replica 127.0.0.1:6381 lost.
  • 主從連接中斷期間主節點依然響應命令,但因復制連接中斷命令無法發送給從節點,不過主節點內部存在的復制積壓緩沖區,依然可以保存最近一段時間的寫命令數據,默認最大緩存1MB,可以通過into replication 查看
  • 當從節點網絡恢復后,從節點會再次連上主節點
從節點打印:
31934:S 06 Aug 2019 14:20:54.745 * MASTER -> REPLICA sync started
31934:S 06 Aug 2019 14:20:54.745 * Non blocking connect for SYNC fired the event.
31934:S 06 Aug 2019 14:20:54.745 * Master replied to PING, replication can continue...
31934:S 06 Aug 2019 14:20:54.745 * Trying a partial resynchronization (request c88cd043d66193e867929d9d5fadc952954371e5:9996).
31934:S 06 Aug 2019 14:20:54.746 * Successful partial resynchronization with master.
31934:S 06 Aug 2019 14:20:54.746 * MASTER -> REPLICA sync: Master accepted a Partial Resynchronization.

主節點打印:
31767:M 06 Aug 2019 14:21:49.065 * Replica 127.0.0.1:6381 asks for synchronization
31767:M 06 Aug 2019 14:21:49.066 * Partial resynchronization request from 127.0.0.1:6381 accepted. Sending 0 bytes of backlog starting from offset 10066.
  • 當主從連接恢復后,由于從節點之前保存了自身已復制的偏移量和主節點的運行ID。因此會把它們當做psync參數發送個主節點,要求進行部分復制操作.從節點對應日志:
31938:S 06 Aug 2019 14:21:49.065 * Trying a partial resynchronization (request c88cd043d66193e867929d9d5fadc952954371e5:10066).
  • 主節點接到psync命令后首先核對參數runId是否與自身一致,如果一致,說明之前復制的是當前主節點;之后根據參數offset在自身復制積壓緩沖區查找,如果偏移量之后的數據存在緩沖區中,則對從節點發送+COUTINUE響應,表示可以進行部分復制。從節點接到回復打印如下:
31938:S 06 Aug 2019 14:21:49.066 * Successful partial resynchronization with master.
31938:S 06 Aug 2019 14:21:49.066 * MASTER -> REPLICA sync: Master accepted a Partial Resynchronization.
  • 主節點根據偏移量把復制積壓緩沖區里的數據發送給從節點,保證主從復制進入正常狀態。發送的數據量可以在主節點的日志獲取
31767:M 06 Aug 2019 14:21:49.065 * Replica 127.0.0.1:6381 asks for synchronization
31767:M 06 Aug 2019 14:21:49.066 * Partial resynchronization request from 127.0.0.1:6381 accepted. Sending 0 bytes of backlog starting from offset 10066.

心跳

  • 主從節點在建立復制后,它們之間維護著長連接并彼此發送心跳命令
  • 主從心跳判斷機制:
    • 主從節點彼此都有心跳檢測機制,各自模擬對方的客戶端進行通信,主節點的連接狀態為flags=M,從節點連接狀態為flags=S
    • 主節點默認每隔10秒對從節點發送ping命令,判斷從節點的存活性和連接狀態。可以通過repl-ping-replica-period 10 控制發送頻率
    • 從節點在主線程中每隔一秒發送replconf ack{offset} 命令,給主節點上報自身當前的復制偏移量。主節點根據replconf命令判斷從節點超時時間,體現在info replication 統計中的lag信息中,lag表示從節點最后一次通信延遲的秒數,正常延遲應該在0到1之間。如果超過repl-timeout配置的值(默認60秒),則判定從節點下線并斷開復制客戶端連接。即使主節點判定從節點下線后,如果從節點重新恢復,心跳檢測和繼續執行.

異步復制

  • 主節點不但負責數據讀寫,還負責把寫命令同步給從節點。寫命令的發送過程是異步完成,也就是說主節點自身處理完寫命令后直接返回給客戶端,并不等待從節點復制完成。

讀寫分離

  • 對于讀占比較高的場景,可以通過把一部分讀流量分攤到從節點(slave)來減輕主節點(master)壓力,同時需要注意永遠只對主節點執行寫操作
  • 建議大家在做讀寫分離之前,可以考慮使用Redis Cluster 等分布式解決方案

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。

您可能感興趣的文章:
  • 淺談Redis主從復制以及主從復制原理
  • 詳解Redis主從復制實踐
  • Redis持久化與主從復制的實踐
  • 使用Docker搭建Redis主從復制的集群
  • redis主從復制原理的深入講解
  • Redis主從復制詳解
  • CentoS6.5環境下redis4.0.1(stable)安裝和主從復制配置方法
  • Redis教程(九):主從復制配置實例
  • 詳解Redis復制原理

標簽:南寧 伊春 河源 泰州 拉薩 畢節 甘南 定州

巨人網絡通訊聲明:本文標題《Redis全量復制與部分復制示例詳解》,本文關鍵詞  Redis,全量,復制,與,部分,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Redis全量復制與部分復制示例詳解》相關的同類信息!
  • 本頁收集關于Redis全量復制與部分復制示例詳解的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    亚洲欧美激情插 | 青青草成人在线观看| 亚洲精品一区二区三区福利| 欧洲在线/亚洲| 色综合天天综合狠狠| 中文字幕一区二| 国产精品欧美一级免费| 久久免费精品国产久精品久久久久| 日韩一级完整毛片| 91麻豆精品国产综合久久久久久| 91福利精品第一导航| 欧美三电影在线| 日韩精品在线一区二区| 久久午夜免费电影| 中文字幕第一区综合| 中文字幕人成不卡一区| 亚洲理论在线观看| 亚洲激情在线播放| 无码av免费一区二区三区试看| 日本乱码高清不卡字幕| 91精彩视频在线| 在线播放/欧美激情| 色综合一个色综合亚洲| heyzo一本久久综合| 色婷婷亚洲精品| 日韩一级片在线观看| 国产丝袜欧美中文另类| 亚洲影视在线播放| 狠狠色狠狠色综合日日91app| 国产精品一级黄| 美女网站色91| av电影在线不卡| 亚洲精品一区二区三区福利| 欧美一区二区观看视频| 日本道色综合久久| 亚洲精品一区二区三区福利| 亚洲一区二区视频| gogo大胆日本视频一区| 久久99精品久久久久久久久久久久| 成人av免费观看| 日韩精品一区二区三区视频在线观看| 欧美色网一区二区| 国产精品午夜免费| 久久精品二区亚洲w码| 色婷婷av一区二区三区gif| 国产日韩欧美不卡| 国产一区福利在线| 久久综合狠狠综合久久综合88| 日本欧洲一区二区| 9191久久久久久久久久久| 一区二区三区日韩| 国产精品一区二区免费不卡| 日韩欧美国产三级| 国产麻豆一精品一av一免费 | 久久久午夜精品理论片中文字幕| 日韩电影在线观看网站| 91精品国产麻豆| 国产专区欧美精品| 久久婷婷成人综合色| 91免费观看在线| 蜜臀av一区二区| 国产精品不卡一区| 666欧美在线视频| 一区二区三区视频在线看| 久久成人久久鬼色| 国产成人综合在线观看| 国产喷白浆一区二区三区| 不卡一卡二卡三乱码免费网站| 日本女优在线视频一区二区| 日韩视频一区二区| 久久99精品久久久久久国产越南| 成人av在线一区二区| 天天色图综合网| 欧美色综合网站| 亚洲免费观看在线观看| 裸体健美xxxx欧美裸体表演| 国产一区二区女| 成人激情午夜影院| 日韩欧美成人一区二区| 免费观看在线色综合| 精品亚洲aⅴ乱码一区二区三区| 成人91在线观看| 精品国产一区二区三区久久久蜜月| 日本一区二区免费在线| 青青青伊人色综合久久| 色综合亚洲欧洲| 久久午夜老司机| 日本在线不卡视频| 亚洲精品视频在线观看网站| 午夜精品一区在线观看| 色综合中文字幕国产| 欧美色图在线观看| 中文字幕视频一区| 福利视频网站一区二区三区| 精品免费视频一区二区| 午夜精品福利久久久| 99国产精品视频免费观看| 精品国产露脸精彩对白| 九九久久精品视频| 精品久久一区二区| 九九九久久久精品| 91精品国产欧美日韩| 日韩精品国产精品| 欧美一级久久久| 麻豆国产91在线播放| 欧美videofree性高清杂交| 琪琪久久久久日韩精品| 在线播放国产精品二区一二区四区| 亚洲国产一区在线观看| 欧美另类久久久品| 免费一级片91| 日韩无一区二区| 久久精品国产精品亚洲精品| 欧美videos大乳护士334| 久久99久久精品欧美| 日韩欧美综合一区| 国产精品自拍三区| 国产精品久久久久永久免费观看 | 在线视频你懂得一区二区三区| 亚洲另类色综合网站| 欧美在线观看视频一区二区| 亚洲无人区一区| 青草国产精品久久久久久| 欧美第一区第二区| 成人在线一区二区三区| 亚洲黄网站在线观看| 91精品国产综合久久精品图片| 久久国产人妖系列| 中日韩免费视频中文字幕| 99久久精品国产导航| 亚洲国产成人av网| 精品国产一区二区三区久久久蜜月| 国产成人免费xxxxxxxx| 亚洲一区二区三区视频在线播放| 欧美一区二区免费视频| 成人网页在线观看| 一区二区三区四区不卡在线| 91精品国产欧美日韩| 成人app软件下载大全免费| 婷婷一区二区三区| 一色桃子久久精品亚洲| 日韩欧美成人一区二区| 91首页免费视频| 另类小说图片综合网| 一区二区三区欧美久久| 久久人人爽人人爽| 欧美专区亚洲专区| 国产成人综合视频| 日韩在线卡一卡二| 自拍偷拍亚洲欧美日韩| 一区二区三区日韩欧美| 88在线观看91蜜桃国自产| 不卡视频在线观看| 久草热8精品视频在线观看| 亚洲免费av观看| 欧美变态tickling挠脚心| 91尤物视频在线观看| 午夜精品久久久久久久99水蜜桃| 久久久欧美精品sm网站| 色猫猫国产区一区二在线视频| 久久97超碰国产精品超碰| 亚洲国产成人av网| 国产视频视频一区| 久久综合九色综合久久久精品综合 | 亚洲激情欧美激情| 亚洲欧美一区二区在线观看| 欧美日韩第一区日日骚| 国产成人亚洲精品青草天美| 亚洲制服丝袜av| 久久久久国产一区二区三区四区 | 精品国产乱码久久久久久蜜臀 | 精品在线播放免费| 亚洲大片免费看| 精品日韩一区二区| 国产精品综合久久| 一级中文字幕一区二区| 日韩欧美国产精品| 婷婷开心激情综合| 国产精品美女久久久久久久久久久| 91久久久免费一区二区| 国产一区在线不卡| 色老头久久综合| 久久av资源网| 亚洲国产视频一区| 椎名由奈av一区二区三区| 亚洲国产aⅴ成人精品无吗| 欧美国产一区二区在线观看| 日韩欧美第一区| 69久久99精品久久久久婷婷| 国产精品国产三级国产有无不卡| 欧美日韩一本到| 91啪九色porn原创视频在线观看| 精品一区精品二区高清| 五月婷婷激情综合网| 亚洲精品在线电影| 国产嫩草影院久久久久| 欧美日韩亚洲不卡| 国产成人精品午夜视频免费 | 欧美精品一区二区三区四区| 91小视频在线观看|