婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Go語言實現Snowflake雪花算法

Go語言實現Snowflake雪花算法

熱門標簽:如何利用高德地圖標注家 電腦外呼系統輻射大嗎 智能語音電銷的機器人 400手機電話免費辦理 揚州電銷外呼系統軟件 武漢百應人工智能電銷機器人 開通400電話申請流程 上海企業外呼系統排名 百度地圖標注位置網站

每次放長假的在家里的時候,總想找點簡單的例子來看看實現原理,這次我們來看看 Go 語言雪花算法。

介紹

有時候在業務中,需要使用一些唯一的ID,來記錄我們某個數據的標識。最常用的無非以下幾種:UUID、數據庫自增主鍵、Redis的Incr命令等方法來獲取一個唯一的值。下面我們分別說一下它們的優劣,以便引出我們的分布式雪花算法。

雪花算法

雪花算法的原始版本是scala版,用于生成分布式ID(純數字,時間順序),訂單編號等。

自增ID:對于數據敏感場景不宜使用,且不適合于分布式場景。 GUID:采用無意義字符串,數據量增大時造成訪問過慢,且不宜排序。

UUID

首先是 UUID ,它是由128位二進制組成,一般轉換成十六進制,然后用String表示。為了保證 UUID 的唯一性,規范定義了包括網卡MAC地址、時間戳、名字空(Namespace)、隨機或偽隨機數、時序等元素,以及從這些元素生成 UUID 的算法。

UUID 有五個版本:

  • 版本1:基于時間戳和mac地址
  • 版本2:基于時間戳,mac地址和POSIX UID/GID
  • 版本3:基于MD5哈希算法
  • 版本4:基于隨機數
  • 版本5:基于SHA-1哈希算法

UUID 的優缺點:

優點是代碼簡單,性能比較好。缺點是沒有排序,無法保證按序遞增;其次是太長了,存儲數據庫占用空間比較大,不利于檢索和排序。

數據庫自增主鍵

如果是使用 mysql 數據庫,那么通過設置主鍵為 auto_increment 是最容易實現單調遞增的唯一ID 的方法,并且它也方便排序和索引。

但是缺點也很明顯,由于過度依賴數據庫,那么受限于數據庫的性能會導致并發性并不高;再來就是如果數據量太大那么會給分庫分表會帶來問題;并且如果數據庫宕機了,那么這個功能是無法使用的。

Redis

Redis 目前已在很多項目中是一個不可或缺的存在,在 Redis 中有兩個命令 Incr、IncrBy ,因為Redis是單線程的所以通過這兩個指令可以能保證原子性從而達到生成唯一值的目標,并且性能也很好。

但是在 Redis 中,即使有 AOF 和 RDB ,但是依然會存在數據丟失,有可能會造成ID重復;再來就是需要依賴 Redis ,如果它不穩定,那么會影響 ID 生成。

Snowflake

通過上面的一個個分析,終于引出了我們的分布式雪花算法 Snowflake ,它最早是twitter內部使用的分布式環境下的唯一ID生成算法。在2014年開源。開源的版本由scala編寫,大家可以再找個地址找到這版本。

https://github.com/twitter-archive/snowflake/tags

它有以下幾個特點:

  • 能滿足高并發分布式系統環境下ID不重復;
  • 基于時間戳,可以保證基本有序遞增;
  • 不依賴于第三方的庫或者中間件;

實現原理

Snowflake 結構是一個 64bit 的 int64 類型的數據。如下:

位置 大小 作用
0~11bit 12bits 序列號,用來對同一個毫秒之內產生不同的ID,可記錄4095個
12~21bit 10bits 10bit用來記錄機器ID,總共可以記錄1024臺機器
22~62bit 41bits 用來記錄時間戳,這里可以記錄69年
63bit 1bit 符號位,不做處理

上面只是一個將 64bit 劃分的通用標準,一般的情況可以根據自己的業務情況進行調整。例如目前業務只有機器10臺左右預計未來會增加到三位數,并且需要進行多機房部署,QPS 幾年之內會發展到百萬。

那么對于百萬 QPS 平分到 10 臺機器上就是每臺機器承擔十萬級的請求即可,12 bit 的序列號完全夠用。對于未來會增加到三位數機器,并且需要多機房部署的需求我們僅需要將 10 bits 的 work id 進行拆分,分割 3 bits 來代表機房數共代表可以部署8個機房,其他 7bits 代表機器數代表每個機房可以部署128臺機器。那么數據格式就會如下所示:

代碼實現

實現步驟

其實看懂了上面的數據結構之后,需要自己實現一個雪花算法是非常簡單,步驟大致如下:

  • 獲取當前的毫秒時間戳;
  • 用當前的毫秒時間戳和上次保存的時間戳進行比較;
    • 如果和上次保存的時間戳相等,那么對序列號 sequence 加一;
    • 如果不相等,那么直接設置 sequence 為 0 即可;
  • 然后通過或運算拼接雪花算法需要返回的 int64 返回值。

代碼實現

首先我們需要定義一個 Snowflake 結構體:

type Snowflake struct {
 sync.Mutex     // 鎖
 timestamp    int64 // 時間戳 ,毫秒
 workerid     int64  // 工作節點
 datacenterid int64 // 數據中心機房id
 sequence     int64 // 序列號
}

然后我們需要定義一些常量,方便我們在使用雪花算法的時候進行位運算取值:

const (
  epoch             = int64(1577808000000)                           // 設置起始時間(時間戳/毫秒):2020-01-01 00:00:00,有效期69年
 timestampBits     = uint(41)                                       // 時間戳占用位數
 datacenteridBits  = uint(2)                                        // 數據中心id所占位數
 workeridBits      = uint(7)                                        // 機器id所占位數
 sequenceBits      = uint(12)                                       // 序列所占的位數
 timestampMax      = int64(-1 ^ (-1  timestampBits))              // 時間戳最大值
 datacenteridMax   = int64(-1 ^ (-1  datacenteridBits))           // 支持的最大數據中心id數量
 workeridMax       = int64(-1 ^ (-1  workeridBits))               // 支持的最大機器id數量
 sequenceMask      = int64(-1 ^ (-1  sequenceBits))               // 支持的最大序列id數量
 workeridShift     = sequenceBits                                   // 機器id左移位數
 datacenteridShift = sequenceBits + workeridBits                    // 數據中心id左移位數
 timestampShift    = sequenceBits + workeridBits + datacenteridBits // 時間戳左移位數
)

需要注意的是由于 -1 在二進制上表示是:

11111111 11111111 11111111 11111111 11111111 11111111 11111111 11111111

所以想要求得 41bits 的 timestamp 最大值可以將 -1 向左位移 41 位,得到:

11111111 11111111 11111110 00000000 00000000 00000000 00000000 00000000

那么再和 -1 進行 ^異或運算:

00000000 00000000 00000001 11111111 11111111 11111111 11111111 11111111

這就可以表示 41bits 的 timestamp 最大值。datacenteridMax、workeridMax也同理。

接著我們就可以設置一個 NextVal 函數來獲取 Snowflake 返回的 ID 了:

func (s *Snowflake) NextVal() int64 {
 s.Lock()
 now := time.Now().UnixNano() / 1000000 // 轉毫秒
 if s.timestamp == now {
  // 當同一時間戳(精度:毫秒)下多次生成id會增加序列號
  s.sequence = (s.sequence + 1)  sequenceMask
  if s.sequence == 0 {
   // 如果當前序列超出12bit長度,則需要等待下一毫秒
   // 下一毫秒將使用sequence:0
   for now = s.timestamp {
    now = time.Now().UnixNano() / 1000000
   }
  }
 } else {
  // 不同時間戳(精度:毫秒)下直接使用序列號:0
  s.sequence = 0
 }
 t := now - epoch
 if t > timestampMax {
  s.Unlock()
  glog.Errorf("epoch must be between 0 and %d", timestampMax-1)
  return 0
 }
 s.timestamp = now
 r := int64((t)timestampShift | (s.datacenterid  datacenteridShift) | (s.workerid  workeridShift) | (s.sequence))
 s.Unlock()
 return r
}

上面的代碼也是非常的簡單,看看注釋應該也能懂,我這里說說最后返回的 r 系列的位運算表示什么意思。

首先 t 表示的是現在距離 epoch 的時間差,我們 epoch 在初始化的時候設置的是2020-01-01 00:00:00,那么對于 41bit 的 timestamp 來說會在 69 年之后才溢出。對 t 進行向左位移之后,低于 timestampShift 位置上全是0 ,由 datacenterid、workerid、sequence 進行取或填充。

在當前的例子中,如果當前時間是2021/01/01 00:00:00,那么位運算結果如下圖所示:

到此這篇關于Go語言實現Snowflake雪花算法的文章就介紹到這了,更多相關Go語言雪花算法內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Java 基于雪花算法生成分布式id
  • mybatis-plus雪花算法自動生成機器id原理及源碼
  • java算法之靜態內部類實現雪花算法
  • Java實現雪花算法的原理
  • 開源一個c# 新的雪花算法
  • Js Snowflake(雪花算法)生成隨機ID的實現方法
  • 利用mysql實現的雪花算法案例
  • 基于python實現雪花算法過程詳解

標簽:武漢 嘉峪關 延邊 江西 宜賓 張掖 新余 黑龍江

巨人網絡通訊聲明:本文標題《Go語言實現Snowflake雪花算法》,本文關鍵詞  語言,實現,Snowflake,雪花,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Go語言實現Snowflake雪花算法》相關的同類信息!
  • 本頁收集關于Go語言實現Snowflake雪花算法的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    91理论电影在线观看| 国内精品视频一区二区三区八戒| 99精品黄色片免费大全| 国模无码大尺度一区二区三区| 欧美视频在线一区二区三区| 夜夜操天天操亚洲| 欧美日韩中文国产| 天天操天天干天天综合网| 欧美大片一区二区| 精品一区二区在线视频| 日本一区二区高清| 欧美日韩亚洲另类| 国模少妇一区二区三区| 国产欧美日韩综合| 欧美又粗又大又爽| 久久精品国产免费看久久精品| 久久久精品国产99久久精品芒果| 国产很黄免费观看久久| 国产精品久久久久久久久久免费看 | 亚洲私人影院在线观看| 色综合一区二区| 激情欧美一区二区| 一区二区三区高清| 久久久久久9999| 色香蕉成人二区免费| 日韩av电影免费观看高清完整版在线观看| 欧美精品免费视频| 欧美一区二区三区思思人 | 欧美综合在线视频| 极品少妇一区二区三区精品视频| 高清av一区二区| 麻豆精品蜜桃视频网站| 亚洲成人福利片| 午夜日韩在线观看| 亚洲一区二区三区美女| 亚洲综合色噜噜狠狠| 国产精品国产三级国产三级人妇 | 欧洲精品一区二区| 91黄色免费看| av不卡免费电影| 色婷婷精品久久二区二区蜜臀av| 91色porny在线视频| 国产成人在线观看免费网站| 成人h动漫精品一区二| 免费视频最近日韩| 久久电影网站中文字幕| 久99久精品视频免费观看| 国产校园另类小说区| 亚洲欧美日韩国产中文在线| 国产精品久久久久久久久久久免费看| 26uuu精品一区二区| 中文字幕欧美国产| 国产精品欧美久久久久无广告| 亚洲欧洲制服丝袜| 中文字幕一区二区视频| 亚洲人成在线播放网站岛国| 亚洲第一精品在线| 精品无人码麻豆乱码1区2区 | 成人永久aaa| 欧美日韩高清一区| 久久久久97国产精华液好用吗| 亚洲成人动漫一区| 丁香网亚洲国际| 欧美一区中文字幕| 亚洲妇女屁股眼交7| 免费观看成人av| 成人爽a毛片一区二区免费| 成人av影院在线| 国产很黄免费观看久久| 黄色小说综合网站| 亚洲乱码国产乱码精品精的特点| 日韩国产在线观看一区| 色偷偷一区二区三区| 久久久久久**毛片大全| 麻豆国产欧美日韩综合精品二区| 欧美性淫爽ww久久久久无| 国产一区二区影院| 国产午夜精品久久久久久免费视 | 日韩av电影免费观看高清完整版 | 丝袜美腿亚洲色图| 激情五月激情综合网| 久久久久久久久久久久久久久99| 久久―日本道色综合久久| 国产精品不卡视频| 日韩女优av电影| 99综合影院在线| 国产欧美视频一区二区| 午夜视频一区二区三区| 91精品国产91久久久久久最新毛片| 三级一区在线视频先锋 | 伦理电影国产精品| 一区二区三区四区在线播放| 精品国产乱码久久久久久浪潮 | 亚洲婷婷在线视频| 欧美日韩免费一区二区三区| 粉嫩av一区二区三区粉嫩| 视频一区中文字幕| 国产精品麻豆久久久| 久久精品人人做| 欧美日本不卡视频| 色综合av在线| eeuss鲁一区二区三区| 国产一本一道久久香蕉| 日韩和欧美一区二区三区| 亚洲mv在线观看| 1024国产精品| 国产精品日日摸夜夜摸av| 日本二三区不卡| 欧美日韩中文另类| 91麻豆国产精品久久| 国产精品99久久久久久久vr| 亚洲免费毛片网站| 亚洲欧洲日韩女同| 国产精品三级视频| 国产日韩欧美电影| 欧美日韩中文字幕精品| 国产一区三区三区| 成人小视频免费观看| 国产伦精品一区二区三区免费迷| 精品午夜久久福利影院| 亚洲成av人片观看| 夜夜嗨av一区二区三区四季av| 国产精品免费人成网站| 亚洲国产激情av| 日韩电影在线一区二区三区| 精品一区二区免费视频| 粉嫩久久99精品久久久久久夜| 久久成人羞羞网站| 蜜臀99久久精品久久久久久软件 | 日韩午夜在线影院| 综合激情网...| 美女久久久精品| 国产精品主播直播| 91蜜桃在线免费视频| 日韩欧美一区二区在线视频| 国产精品久久久久aaaa| 国产精品家庭影院| 亚洲伊人色欲综合网| 日本免费新一区视频 | 亚洲一卡二卡三卡四卡无卡久久 | 黄网站免费久久| 日韩欧美国产综合| 国产日韩欧美激情| 久久精品国产在热久久| 欧美三级电影精品| 亚洲一卡二卡三卡四卡 | 成人妖精视频yjsp地址| 一区二区国产视频| jiyouzz国产精品久久| 欧美国产精品专区| 99视频精品在线| 日本一区二区三区四区| 日本成人在线不卡视频| 在线成人免费观看| 亚洲bt欧美bt精品777| 欧美精品久久久久久久多人混战 | 国产91清纯白嫩初高中在线观看| 99久久精品国产导航| 久久久电影一区二区三区| 国产一区二区三区综合| 久久这里只有精品首页| 99视频热这里只有精品免费| 久久老女人爱爱| www.欧美日韩| 一区二区三区四区不卡视频 | 一区二区国产盗摄色噜噜| 欧美色男人天堂| 亚洲国产欧美在线| 91精品国产综合久久久久久久久久| 久久精品噜噜噜成人av农村| 精品国内二区三区| 一区二区三区在线视频播放| 丰满放荡岳乱妇91ww| 亚洲欧美在线aaa| 91老师国产黑色丝袜在线| 国产精品三级av在线播放| 国产成人精品免费在线| 亚洲欧美日韩一区二区 | 91久久一区二区| 美国精品在线观看| 午夜精彩视频在线观看不卡| www激情久久| 在线观看亚洲a| 久久99精品久久久久久久久久久久| 国产欧美一区二区精品忘忧草| 欧美性做爰猛烈叫床潮| 成人国产精品免费观看| 日本成人中文字幕在线视频| ㊣最新国产の精品bt伙计久久| 91精品国产欧美一区二区成人 | 精品对白一区国产伦| 91麻豆蜜桃一区二区三区| 国产馆精品极品| 久久超碰97人人做人人爱| 欧洲精品视频在线观看| 成人免费高清视频在线观看| 亚洲狠狠丁香婷婷综合久久久| 中文字幕av一区 二区| 国产精品日韩精品欧美在线| 国产日韩欧美a|