婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Postgresql中xlog生成和清理邏輯操作

Postgresql中xlog生成和清理邏輯操作

熱門標(biāo)簽:濟(jì)南外呼網(wǎng)絡(luò)電話線路 移動外呼系統(tǒng)模擬題 電話機(jī)器人怎么換人工座席 地圖標(biāo)注要花多少錢 天津開發(fā)區(qū)地圖標(biāo)注app 江蘇400電話辦理官方 電銷機(jī)器人能補(bǔ)救房產(chǎn)中介嗎 廣州電銷機(jī)器人公司招聘 400電話申請客服

0 前言

1、2部分是對XLOG生成和清理邏輯的分析,XLOG暴漲的處理直接看第3部分。

1 WAL歸檔

# 在自動的WAL檢查點之間的日志文件段的最大數(shù)量
checkpoint_segments = 
# 在自動WAL檢查點之間的最長時間
checkpoint_timeout = 
# 緩解io壓力
checkpoint_completion_target = 
# 日志文件段的保存最小數(shù)量,為了備庫保留更多段
wal_keep_segments = 
# 已完成的WAL段通過archive_command發(fā)送到歸檔存儲
archive_mode = 
# 強(qiáng)制timeout切換到新的wal段文件
archive_timeout = 
max_wal_size = 
min_wal_size =

1.1 不開啟歸檔時

文件數(shù)量受下面幾個參數(shù)控制,通常不超過

(2 + checkpoint_completion_target) * checkpoint_segments + 1

checkpoint_segments + wal_keep_segments + 1個文件。

如果一個舊段文件不再需要了會重命名然后繼續(xù)覆蓋使用,如果由于短期的日志輸出高峰導(dǎo)致了超過

3 * checkpoint_segments + 1個文件,直接刪除文件。

1.2 開啟歸檔時

文件數(shù)量:刪除歸檔成功的段文件

抽象來看一個運(yùn)行的PG生成一個無限長的WAL日志序列。每段16M,這些段文件的名字是數(shù)值命名的,反映在WAL序列中的位置。在不用WAL歸檔的時候,系統(tǒng)通常只是創(chuàng)建幾個段文件然后循環(huán)使用,方法是把不再使用的段文件重命名為更高的段編號。

當(dāng)且僅當(dāng)歸檔命令成功時,歸檔命令返回零。 在得到一個零值結(jié)果之后,PostgreSQL將假設(shè)該WAL段文件已經(jīng)成功歸檔,稍后將刪除段文件。一個非零值告訴PostgreSQL該文件沒有被歸檔,會周期性的重試直到成功。

2 PG源碼分析

2.1 刪除邏輯

觸發(fā)刪除動作

RemoveOldXlogFiles
> CreateCheckPoint
> CreateRestartPoint

wal_keep_segments判斷(調(diào)用這個函數(shù)修改_logSegNo,然后再傳入RemoveOldXlogFiles)

static void
KeepLogSeg(XLogRecPtr recptr, XLogSegNo *logSegNo)
{
 XLogSegNo segno;
 XLogRecPtr keep;
 XLByteToSeg(recptr, segno);
 keep = XLogGetReplicationSlotMinimumLSN();
 /* compute limit for wal_keep_segments first */
 if (wal_keep_segments > 0)
 {
 /* avoid underflow, don't go below 1 */
 if (segno = wal_keep_segments)
  segno = 1;
 else
  segno = segno - wal_keep_segments;
 }
 /* then check whether slots limit removal further */
 if (max_replication_slots > 0  keep != InvalidXLogRecPtr)
 {
 XLogSegNo slotSegNo;
 XLByteToSeg(keep, slotSegNo);
 if (slotSegNo = 0)
  segno = 1;
 else if (slotSegNo  segno)
  segno = slotSegNo;
 }
 /* don't delete WAL segments newer than the calculated segment */
 if (segno  *logSegNo)
 *logSegNo = segno;
}

刪除邏輯

static void
RemoveOldXlogFiles(XLogSegNo segno, XLogRecPtr endptr)
{
  ...
  ...
 while ((xlde = ReadDir(xldir, XLOGDIR)) != NULL)
 {
 /* Ignore files that are not XLOG segments */
 if (strlen(xlde->d_name) != 24 ||
  strspn(xlde->d_name, "0123456789ABCDEF") != 24)
  continue;
 /*
  * We ignore the timeline part of the XLOG segment identifiers in
  * deciding whether a segment is still needed. This ensures that we
  * won't prematurely remove a segment from a parent timeline. We could
  * probably be a little more proactive about removing segments of
  * non-parent timelines, but that would be a whole lot more
  * complicated.
  *
  * We use the alphanumeric sorting property of the filenames to decide
  * which ones are earlier than the lastoff segment.
  */
 if (strcmp(xlde->d_name + 8, lastoff + 8) = 0)
 {
  if (XLogArchiveCheckDone(xlde->d_name))
        # 歸檔關(guān)閉返回真
        # 存在done文件返回真
        # 存在.ready返回假
        # recheck存在done文件返回真
        # 重建.ready文件返回假
  {
  /* Update the last removed location in shared memory first */
  UpdateLastRemovedPtr(xlde->d_name);
        
        # 回收 或者 直接刪除,清理.done和.ready文件
  RemoveXlogFile(xlde->d_name, endptr);
  }
 }
 }
  ...
  ...
}

2.2 歸檔邏輯

static void
pgarch_ArchiverCopyLoop(void)
{
 char xlog[MAX_XFN_CHARS + 1];
  
  # 拿到最老那個沒有被歸檔的xlog文件名
 while (pgarch_readyXlog(xlog))
 {
 int  failures = 0;
 for (;;)
 {
  /*
  * Do not initiate any more archive commands after receiving
  * SIGTERM, nor after the postmaster has died unexpectedly. The
  * first condition is to try to keep from having init SIGKILL the
  * command, and the second is to avoid conflicts with another
  * archiver spawned by a newer postmaster.
  */
  if (got_SIGTERM || !PostmasterIsAlive())
  return;
  /*
  * Check for config update. This is so that we'll adopt a new
  * setting for archive_command as soon as possible, even if there
  * is a backlog of files to be archived.
  */
  if (got_SIGHUP)
  {
  got_SIGHUP = false;
  ProcessConfigFile(PGC_SIGHUP);
  }
  # archive_command沒設(shè)的話不再執(zhí)行
      # 我們的command沒有設(shè)置,走的是這個分支
  if (!XLogArchiveCommandSet())
  {
  /*
   * Change WARNING to DEBUG1, since we will left archive_command empty to 
   * let external tools to manage archive
   */
  ereport(DEBUG1,
   (errmsg("archive_mode enabled, yet archive_command is not set")));
  return;
  }
      # 執(zhí)行歸檔命令!
  if (pgarch_archiveXlog(xlog))
  {
  # 成功了,把.ready改名為.done
  pgarch_archiveDone(xlog);
  /*
   * Tell the collector about the WAL file that we successfully
   * archived
   */
  pgstat_send_archiver(xlog, false);
  break;  /* out of inner retry loop */
  }
  else
  {
  /*
   * Tell the collector about the WAL file that we failed to
   * archive
   */
  pgstat_send_archiver(xlog, true);
  if (++failures >= NUM_ARCHIVE_RETRIES)
  {
   ereport(WARNING,
    (errmsg("archiving transaction log file \"%s\" failed too many times, will try again later",
     xlog)));
   return; /* give up archiving for now */
  }
  pg_usleep(1000000L); /* wait a bit before retrying */
  }
 }
 }
}

2.3 ready生成邏輯

static void
XLogWrite(XLogwrtRqst WriteRqst, bool flexible)
{
...
      if (finishing_seg)
  {
  issue_xlog_fsync(openLogFile, openLogSegNo);
  /* signal that we need to wakeup walsenders later */
  WalSndWakeupRequest();
  LogwrtResult.Flush = LogwrtResult.Write; /* end of page */
        # 歸檔打開  wal_level >= archive
  if (XLogArchivingActive())
          # 生成ready文件
   XLogArchiveNotifySeg(openLogSegNo);
  XLogCtl->lastSegSwitchTime = (pg_time_t) time(NULL);
...

2.4 總結(jié)

ready文件只要滿足archive_mode=on和wal_lever>=archive,就總會生成(XLogWrite函數(shù)調(diào)用生成)

因為archive_command設(shè)置空,所以ready文件的消費(fèi)完全由外部程序控制

done文件的處理由PG完成,兩個地方會觸發(fā)done文件處理,檢查點和重啟點

處理多少done文件受wal_keep_segments和replication_slot控制(KeepLogSeg函數(shù))

3 WAL段累積的原因(長求總?)

注意:無論如何注意不要手動刪除xlog文件

注意:checkpoint產(chǎn)生的日志回不立即生成ready文件,是在下一個xlog后一塊生成的

3.1 ReplicationSlot

打開流了復(fù)制槽

-- 流復(fù)制插槽
-- 如果restart_lsn和當(dāng)前XLOG相差非常大的字節(jié)數(shù), 需要排查slot的訂閱者是否能正常接收XLOG, 
-- 或者訂閱者是否正常. 長時間不將slot的數(shù)據(jù)取走, pg_xlog目錄可能會撐爆
select pg_xlog_location_diff(pg_current_xlog_location(),restart_lsn), * 
from pg_replication_slots;

刪除

select pg_drop_replication_slot('xxx');

刪除后PG會在下一個checkpoint清理xlog

3.2 較大的wal_keep_segments

檢查參數(shù)配置,注意打開這個參數(shù)會使xlog和ready有一定延遲

3.3 回收出現(xiàn)問題

如果不使用PG自動回收機(jī)制,數(shù)據(jù)庫依賴外部程序修改.ready文件,需要檢測回收進(jìn)程

(archive_mode=on archive_command='')

3.4 檢查點間隔過長

檢查參數(shù)配置

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • postgresql 性能參數(shù)配置方式
  • postgresql SQL語句變量的使用說明
  • postgresql 實現(xiàn)查詢出的數(shù)據(jù)為空,則設(shè)為0的操作
  • postgresql 補(bǔ)齊空值、自定義查詢字段并賦值操作
  • Postgresql去重函數(shù)distinct的用法說明
  • postgresql 12版本搭建及主備部署操作
  • 淺談PostgreSQL和SQLServer的一些差異

標(biāo)簽:溫州 榆林 昭通 海西 寶雞 辛集 杭州 濮陽

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Postgresql中xlog生成和清理邏輯操作》,本文關(guān)鍵詞  Postgresql,中,xlog,生成,和,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Postgresql中xlog生成和清理邏輯操作》相關(guān)的同類信息!
  • 本頁收集關(guān)于Postgresql中xlog生成和清理邏輯操作的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    91久久国产综合久久| 国产精品免费久久久久| 亚洲国产精品自拍| 欧美va亚洲va| 色狠狠综合天天综合综合| 激情文学综合丁香| 亚洲一级二级三级在线免费观看| 91精品国产91久久久久久一区二区 | 99精品热视频| 懂色中文一区二区在线播放| 青草av.久久免费一区| 亚洲一区二区四区蜜桃| 有码一区二区三区| 亚洲免费观看视频| 亚洲一区视频在线| 亚洲在线视频一区| 中文字幕一区av| 1区2区3区国产精品| 欧美经典一区二区| 中文字幕不卡在线播放| 国产精品情趣视频| 欧美激情艳妇裸体舞| 亚洲国产高清aⅴ视频| 国产精品视频麻豆| 欧美三日本三级三级在线播放| 色哟哟国产精品| 日本高清不卡在线观看| 色悠悠亚洲一区二区| 在线观看亚洲一区| 91麻豆精品91久久久久同性| 日韩精品中文字幕在线不卡尤物 | 99riav久久精品riav| 中文文精品字幕一区二区| 高清av一区二区| 樱桃国产成人精品视频| 国产精品久久二区二区| 欧美一区二区三区系列电影| 成人免费毛片片v| 欧美精品一区二区三区久久久| 午夜精品国产更新| 91成人在线观看喷潮| 亚洲精品一区在线观看| 青青草伊人久久| 成人午夜免费视频| 精品国产区一区| 激情文学综合丁香| 国产日韩欧美亚洲| 成人久久视频在线观看| 国产精品国产三级国产普通话三级 | 色综合av在线| 亚洲美女视频在线观看| 日韩免费观看高清完整版| 久久er99精品| 亚洲欧洲日韩女同| 欧美一区二区在线免费播放| 激情av综合网| 一区二区三区欧美| 欧美v亚洲v综合ⅴ国产v| 国产成人综合亚洲网站| 亚洲午夜精品17c| 国产精品妹子av| 日韩一区二区影院| 99国产精品久| www.成人在线| 国内精品国产成人国产三级粉色 | 色婷婷国产精品| 国产精品系列在线播放| 日韩不卡一二三区| 一区二区三区精品久久久| 欧美国产一区二区| 精品粉嫩超白一线天av| 日韩欧美高清一区| 精品免费国产二区三区| 欧美精品久久99久久在免费线| gogogo免费视频观看亚洲一| 国产一区二区日韩精品| 日韩av一区二区在线影视| 香蕉成人伊视频在线观看| 亚洲一区在线观看视频| 亚洲午夜在线观看视频在线| 中文字幕不卡在线| 最新欧美精品一区二区三区| 欧美国产日韩亚洲一区| 日韩亚洲欧美中文三级| 精品理论电影在线观看| 久久精品日韩一区二区三区| 久久人人97超碰com| 中文字幕欧美一区| 亚洲第一成年网| 亚洲成av人片| 精品一区在线看| 97精品电影院| 日韩欧美在线影院| 亚洲三级理论片| 久久精品国产久精国产| 99久久精品国产一区| 日韩三级高清在线| 亚洲欧美激情插| 成人美女视频在线观看18| 欧美亚洲国产bt| 亚洲天堂免费看| 久久精品国产99国产精品| 99久久综合99久久综合网站| 日韩一区二区三区av| 亚洲精品国产品国语在线app| 久久不见久久见免费视频1 | 欧美电影免费观看高清完整版在线观看 | 日精品一区二区| 成人国产精品免费观看视频| 精品少妇一区二区三区在线播放| 一区二区三区高清不卡| 成人高清av在线| 中文字幕乱码久久午夜不卡| 国产电影一区二区三区| 久久久综合九色合综国产精品| 亚洲a一区二区| 91精品国产一区二区三区| 国产精品视频免费| 91亚洲永久精品| 亚洲另类春色校园小说| 在线观看www91| 天天影视网天天综合色在线播放| 欧美夫妻性生活| 国产美女娇喘av呻吟久久| 久久综合色综合88| www.亚洲精品| 无码av中文一区二区三区桃花岛| 91精品国产综合久久久久久久 | 欧美伦理影视网| 精品一区二区免费在线观看| 国产精品美女一区二区三区| 色视频一区二区| 精一区二区三区| 亚洲欧美日韩一区| 欧美一区二区在线观看| av中文字幕不卡| 日本不卡一区二区| 国产精品久久精品日日| 91精品免费在线观看| 91福利国产成人精品照片| 久久99精品国产91久久来源| 亚洲永久免费av| 国产精品丝袜91| 欧美激情综合网| 日韩欧美你懂的| 欧美日韩和欧美的一区二区| 精品一区二区三区免费观看| 亚洲电影欧美电影有声小说| 欧美一区二区三区精品| 蜜臀a∨国产成人精品| 国产精品美女久久久久高潮| 欧美高清一级片在线| 99久久国产免费看| 三级久久三级久久久| 一区二区日韩av| 国产精品欧美久久久久一区二区| 欧美猛男gaygay网站| 欧美日韩亚洲综合| 色诱亚洲精品久久久久久| 国产九九视频一区二区三区| 视频精品一区二区| 午夜欧美电影在线观看| 亚洲欧洲中文日韩久久av乱码| 日韩免费观看高清完整版在线观看 | 欧美日韩国产在线观看| 在线视频国内一区二区| 在线观看不卡一区| 精品国产乱子伦一区| 国产精品婷婷午夜在线观看| 亚洲蜜桃精久久久久久久| 亚洲成精国产精品女| 视频在线观看91| 成人免费毛片a| 欧美日本一区二区| 久久久亚洲高清| 亚洲成人精品影院| 国产99久久久国产精品免费看| av在线综合网| 久久久五月婷婷| 午夜欧美视频在线观看| 福利一区福利二区| 51精品视频一区二区三区| 国产精品电影一区二区三区| 蜜臀精品一区二区三区在线观看 | 麻豆极品一区二区三区| 91丨porny丨首页| 欧美大胆人体bbbb| 亚洲成人动漫在线观看| 风间由美一区二区三区在线观看 | 国产不卡高清在线观看视频| 99精品在线观看视频| 久久亚洲精华国产精华液| 亚洲一区二区黄色| 波多野结衣中文字幕一区二区三区| 欧美日韩国产区一| 1区2区3区国产精品| 成人精品免费视频| 国产精品区一区二区三区| 国产传媒日韩欧美成人| 2020国产精品自拍|