婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > 超大數(shù)據(jù)量存儲常用數(shù)據(jù)庫分表分庫算法總結(jié)

超大數(shù)據(jù)量存儲常用數(shù)據(jù)庫分表分庫算法總結(jié)

熱門標(biāo)簽:硅基電話機(jī)器人官網(wǎng) 漯河電銷回?fù)芡夂粝到y(tǒng) 電話機(jī)器人怎么看余額 城市地圖標(biāo)志怎么標(biāo)注 怎么修改高德地圖標(biāo)注 長沙外呼系統(tǒng)平臺 合肥crm外呼系統(tǒng)加盟 美國地圖標(biāo)注軟件下載 西安電話自動外呼系統(tǒng)

當(dāng)一個應(yīng)用的數(shù)據(jù)量大的時候,我們用單表和單庫來存儲會嚴(yán)重影響操作速度,如mysql的myisam存儲,我們經(jīng)過測試,200w以下的時候,mysql的訪問速度都很快,但是如果超過200w以上的數(shù)據(jù),他的訪問速度會急劇下降,影響到我們webapp的訪問速度,而且數(shù)據(jù)量太大的話,如果用單表存儲,就會使得系統(tǒng)相當(dāng)?shù)牟环€(wěn)定,mysql服務(wù)很容易掛掉。所以當(dāng)數(shù)據(jù)量超過200w的時候,建議系統(tǒng)工程師還是考慮分表.

以下是幾種常見的分表算法。

1.按自然時間來分表/分庫;

如一個應(yīng)用的數(shù)據(jù)在一年后數(shù)據(jù)量會達(dá)到200w左右,那么我們就可以考慮用一年的數(shù)據(jù)來做為一個表或者庫來存儲,例如,表名為app,那么2010年的數(shù)據(jù)就是app_2010,app_2011;如果數(shù)據(jù)量在一個月就達(dá)到了200w左右,那么我們就可以用月份來分,app_2010_01,app_2010_02.

2.按數(shù)字類型hash分表/分庫;

如果我們要存儲用戶的信息,我們應(yīng)用的注冊量很大,我們用單表是不能滿足存儲需求的,那么我們就可以用用戶的編號來進(jìn)行hash,常見的是用取余操作,如果我們要分30張表來存儲用戶的信息,那么用戶編號為1的用戶1%30=1,那么我們就存在user_01表里,如用戶的編號為500,那么500%30=20,那么我們就將此用戶的信息存儲在user_20的表里.

3.按md5值來分表/分庫;

我們假設(shè)要存儲用戶上傳的文件,如果上傳量大的話,也會帶來系統(tǒng)的瓶頸問題,我們做過試驗(yàn),在一個文件夾下如果超過200個文件的話,文件的瀏覽效率會降低,當(dāng)然,這個不屬于我們本文討論的范圍,這塊也要做散列操作.我們可以用文件的用戶名來md5或者用文件的md5校驗(yàn)值來做,我們就可以用md5的前5位來做hash,這樣最多我們就可以得到5^5=3125個表,每次在存儲文件的時候,就可以用文件名的md5值的前5位來確定這個文件該存那張表.

4.實(shí)例:某微博的url加密算法和存儲策略的猜想.

現(xiàn)在好多微博都用這樣的url來訪問,如果他們的域名為www.example.com,那么如果你發(fā)微博的時候,你會發(fā)現(xiàn)你所發(fā)的url都變成了http://t.cn/Mx4ja1,這樣的形式,他們是怎么進(jìn)行這樣的轉(zhuǎn)換呢?我猜想就是用到了我們上面講的md5的存儲和查找規(guī)則,用你發(fā)的url來進(jìn)行md5,得到md5值之后,如我們例子來說,就會用前6位來進(jìn)行分表.

5.分表所帶來的問題.

分表也會帶來一系列的問題,如分頁的實(shí)現(xiàn),統(tǒng)計(jì)的實(shí)現(xiàn),如果我們要做一個所有數(shù)據(jù)的分頁,那么我們得每張表都得遍歷一遍,這樣訪問效率會很低下.之前我嘗試過用mysql的代理來實(shí)現(xiàn),最終用tcsql來實(shí)現(xiàn)了.

6.分表算法的選擇.

如果你的應(yīng)用數(shù)據(jù)量不是特別大的話,最好別用分表。

您可能感興趣的文章:
  • docker之創(chuàng)建MariaDB鏡像的方法
  • 在docker中運(yùn)行mariadb程序的方法
  • Docker實(shí)現(xiàn)Mariadb分庫分表及讀寫分離功能

標(biāo)簽:玉溪 濟(jì)源 文山 廣西 瀘州 商洛 吉林 撫順

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《超大數(shù)據(jù)量存儲常用數(shù)據(jù)庫分表分庫算法總結(jié)》,本文關(guān)鍵詞  超大,數(shù)據(jù),量,存儲,常用,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《超大數(shù)據(jù)量存儲常用數(shù)據(jù)庫分表分庫算法總結(jié)》相關(guān)的同類信息!
  • 本頁收集關(guān)于超大數(shù)據(jù)量存儲常用數(shù)據(jù)庫分表分庫算法總結(jié)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 迁安市| 宁强县| 铜川市| 临潭县| 万载县| 民和| 平顶山市| 尼玛县| 鸡东县| 衡水市| 银川市| 临湘市| 涿鹿县| 芦溪县| 西乡县| 天津市| 德州市| 霍山县| 仁化县| 犍为县| 文昌市| 普安县| 什邡市| 湘乡市| 南漳县| 高碑店市| 颍上县| 光泽县| 蒲城县| 攀枝花市| 鹤壁市| 公主岭市| 新闻| 台前县| 江川县| 静宁县| 区。| 大城县| 宜川县| 景洪市| 怀远县|