写点什么

第 5 周课后练习 - 技术选型一

用户头像
潘涛
关注
发布于: 2021 年 01 月 31 日

第 5 周课后练习-技术选型一

使用 Java 实现一致性 Hash 算法

一、程序运行结果

二、Java 源码

2.1 核心思路

1、实现一致性哈希算法,并加虚拟节点,实现节点的均匀分布,以便于提高路由的均衡分布率

2、使用 FNV1_32_HASH 算法计算服务器的 Hash 值,避免 hash 值计算结果的分布范围过于集中

3、在虚拟节点时,将真实节点信息作为虚拟节点的一部分,便于命中虚拟节点时,快速找到对应的真实节点

2.2 源码

package com.jiagou;
import java.util.*;
/** * 带虚拟节点的一致性Hash算法 */public class HashArithmetic { /** * 待添加入Hash环的服务器列表 */ private static String[] servers = {"192.168.0.1:6379", "192.168.0.2:6379", "192.168.0.3:6379"};
/** * 真实结点列表,考虑到服务器上线、下线的场景,即添加、删除的场景会比较频繁,这里使用LinkedList会更好 */ private static List<String> realNodes = new LinkedList<String>();
/** * 真实结点命中次数统计 */ private static SortedMap<String, Integer> realNodeHitCount = new TreeMap<String, Integer>();
/** * 虚拟节点,key表示虚拟节点的hash值,value表示虚拟节点的名称 */ private static SortedMap<Integer, String> virtualNodes = new TreeMap<Integer, String>();
/** * 虚拟节点的数目 */ private static final int VIRTUAL_NODES = 150;
static { // 先把原始的服务器添加到真实结点列表中 for (int serverNum = 0; serverNum < servers.length; serverNum++) { realNodes.add(servers[serverNum]); }
// 再添加虚拟节点,遍历LinkedList使用foreach循环效率会比较高 for (String realNode : realNodes) { for (int virtualNodeNum = 0; virtualNodeNum < VIRTUAL_NODES; virtualNodeNum++) { String virtualNodeName = realNode + "virtual_node" + String.valueOf(virtualNodeNum); int hash = getHash(virtualNodeName); virtualNodes.put(hash, virtualNodeName); } }
// for (int key : virtualNodes.keySet()) {// System.out.println("节点key=" + key + ",对应节点信息为:" + virtualNodes.get(key));// } }
public static void main(String[] args) { List<String> keys = new ArrayList<>();
int virtualKeyNum = 100;
for (int keyNum = 0; keyNum < virtualKeyNum; keyNum++) { keys.add("" + getHash(String.valueOf(keyNum))); } for (String key : keys) { String serverNode = getServerNode(key);
Integer hitCount = realNodeHitCount.get(serverNode); hitCount = hitCount == null ? 1 : ++hitCount; realNodeHitCount.put(serverNode, hitCount); }
System.out.println("实际节点数:" + realNodes.size() + ",虚拟节点数:" + (realNodes.size() * VIRTUAL_NODES) + ", 模拟key数量:" + virtualKeyNum); System.out.println(realNodes);
for (String realNode : realNodeHitCount.keySet()) { System.out.println("节点:" + realNode + "被命中次数:" + realNodeHitCount.get(realNode)); } }
/** * 使用FNV1_32_HASH算法计算服务器的Hash值,这里不使用重写hashCode的方法,最终效果没区别 */ private static int getHash(String str) { final int p = 16777619; int hash = (int) 2166136261L; for (int i = 0; i < str.length(); i++) { hash = (hash ^ str.charAt(i)) * p; } hash += hash << 13; hash ^= hash >> 7; hash += hash << 3; hash ^= hash >> 17; hash += hash << 5;
// 如果算出来的值为负数则取其绝对值 if (hash < 0) { hash = Math.abs(hash); } return hash; }
/** * 得到应当路由到的结点 */ private static String getServerNode(String key) { // 得到带路由的结点的Hash值 int hash = getHash(key); // 得到大于该Hash值的所有Map SortedMap<Integer, String> subMap = virtualNodes.tailMap(hash); // 第一个Key就是顺时针过去离node最近的那个结点 Integer i = subMap.firstKey(); // 返回对应的虚拟节点名称,这里字符串稍微截取一下 String virtualNode = subMap.get(i); return virtualNode.substring(0, virtualNode.indexOf("virtual_node")); }}
复制代码


用户头像

潘涛

关注

还未添加个人签名 2020.02.25 加入

还未添加个人简介

评论

发布
暂无评论
第5周课后练习-技术选型一