由于項目中需要使用批量插入功能, 所以在網上查找到了Redis 批量插入可以使用pipeline來高效的插入, 示例代碼如下:
String key = "key";
Jedis jedis = new Jedis("xx.xx.xx.xx");
Pipeline p = jedis.pipelined();
ListString> myData = .... //要插入的數據列表
for(String data: myData){
p.hset(key, data);
}
p.sync();
jedis.close();
但實際上遇到的問題是,項目上所用到的Redis是集群,初始化的時候使用的類是JedisCluster而不是Jedis. 去查了JedisCluster的文檔, 并沒有發現提供有像Jedis一樣的獲取Pipeline對象的 pipelined()方法.
Google了一下, 發現了解決方案.
Redis集群規范有說: Redis 集群的鍵空間被分割為 16384 個槽（slot）， 集群的最大節點數量也是 16384 個。每個主節點都負責處理 16384 個哈希槽的其中一部分。當我們說一個集群處于“穩定”（stable）狀態時， 指的是集群沒有在執行重配置（reconfiguration）操作， 每個哈希槽都只由一個節點進行處理。
所以我們可以根據要插入的key知道這個key所對應的槽的號碼, 再通過這個槽的號碼從集群中找到對應Jedis. 具體實現如下
//初始化得到了jedis cluster, 如何獲取HostAndPort集合代碼就不寫了
SetHostAndPort> nodes = .....
JedisCluster jedisCluster = new JedisCluster(nodes);
MapString, JedisPool> nodeMap = jedisCluster.getClusterNodes();
String anyHost = nodeMap.keySet().iterator().next();
//getSlotHostMap方法在下面有
TreeMapLong, String> slotHostMap = getSlotHostMap(anyHost);
private static TreeMapLong, String> getSlotHostMap(String anyHostAndPortStr) {
TreeMapLong, String> tree = new TreeMapLong, String>();
String parts[] = anyHostAndPortStr.split(":");
HostAndPort anyHostAndPort = new HostAndPort(parts[0], Integer.parseInt(parts[1]));
try{
Jedis jedis = new Jedis(anyHostAndPort.getHost(), anyHostAndPort.getPort());
ListObject> list = jedis.clusterSlots();
for (Object object : list) {
ListObject> list1 = (ListObject>) object;
ListObject> master = (ListObject>) list1.get(2);
String hostAndPort = new String((byte[]) master.get(0)) + ":" + master.get(1);
tree.put((Long) list1.get(0), hostAndPort);
tree.put((Long) list1.get(1), hostAndPort);
}
jedis.close();
}catch(Exception e){
}
return tree;
}
上面這幾步可以在初始化的時候就完成. 不需要每次都調用, 把nodeMap和slotHostMap都定義為靜態變量.
//獲取槽號
int slot = JedisClusterCRC16.getSlot(key);
//獲取到對應的Jedis對象
Map.EntryLong, String> entry = slotHostMap.lowerEntry(Long.valueOf(slot));
Jedis jedis = nodeMap.get(entry.getValue()).getResource();
建議上面這步操作可以封裝成一個靜態方法, 比如命名為public static Jedis getJedisByKey(String key) 之類的. 意思就是在集群中, 通過key獲取到這個key所對應的Jedis對象.
這樣再通過上面的jedis.pipelined();來就可以進行批量插入了.
注:這個方法是從Google上搜來的, 直到目前我使用起來還沒發現什么問題. 如果哪位大神發現有什么不對的地方歡迎提出來.
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:- Redis cluster集群的介紹
- Spring-data-redis操作redis cluster的示例代碼
- Windows環境下Redis Cluster環境搭建(圖文)
- 如何用docker部署redis cluster的方法
- python使用pipeline批量讀寫redis的方法
- 詳解Java使用Pipeline對Redis批量讀寫（hmset&hgetall）
- 詳解redis大幅性能提升之使用管道（PipeLine）和批量（Batch）操作
- redis cluster支持pipeline的實現思路
