第 5 周课后练习 - 技术选型一
发布于: 2021 年 01 月 31 日
第 5 周课后练习-技术选型一
使用 Java 实现一致性 Hash 算法
一、程序运行结果
二、Java 源码
2.1 核心思路
1、实现一致性哈希算法,并加虚拟节点,实现节点的均匀分布,以便于提高路由的均衡分布率
2、使用 FNV1_32_HASH 算法计算服务器的 Hash 值,避免 hash 值计算结果的分布范围过于集中
3、在虚拟节点时,将真实节点信息作为虚拟节点的一部分,便于命中虚拟节点时,快速找到对应的真实节点
2.2 源码
package com.jiagou;
import java.util.*;
/**
* 带虚拟节点的一致性Hash算法
*/
public class HashArithmetic {
/**
* 待添加入Hash环的服务器列表
*/
private static String[] servers = {"192.168.0.1:6379", "192.168.0.2:6379", "192.168.0.3:6379"};
/**
* 真实结点列表,考虑到服务器上线、下线的场景,即添加、删除的场景会比较频繁,这里使用LinkedList会更好
*/
private static List<String> realNodes = new LinkedList<String>();
/**
* 真实结点命中次数统计
*/
private static SortedMap<String, Integer> realNodeHitCount = new TreeMap<String, Integer>();
/**
* 虚拟节点,key表示虚拟节点的hash值,value表示虚拟节点的名称
*/
private static SortedMap<Integer, String> virtualNodes = new TreeMap<Integer, String>();
/**
* 虚拟节点的数目
*/
private static final int VIRTUAL_NODES = 150;
static {
// 先把原始的服务器添加到真实结点列表中
for (int serverNum = 0; serverNum < servers.length; serverNum++) {
realNodes.add(servers[serverNum]);
}
// 再添加虚拟节点,遍历LinkedList使用foreach循环效率会比较高
for (String realNode : realNodes) {
for (int virtualNodeNum = 0; virtualNodeNum < VIRTUAL_NODES; virtualNodeNum++) {
String virtualNodeName = realNode + "virtual_node" + String.valueOf(virtualNodeNum);
int hash = getHash(virtualNodeName);
virtualNodes.put(hash, virtualNodeName);
}
}
// for (int key : virtualNodes.keySet()) {
// System.out.println("节点key=" + key + ",对应节点信息为:" + virtualNodes.get(key));
// }
}
public static void main(String[] args) {
List<String> keys = new ArrayList<>();
int virtualKeyNum = 100;
for (int keyNum = 0; keyNum < virtualKeyNum; keyNum++) {
keys.add("" + getHash(String.valueOf(keyNum)));
}
for (String key : keys) {
String serverNode = getServerNode(key);
Integer hitCount = realNodeHitCount.get(serverNode);
hitCount = hitCount == null ? 1 : ++hitCount;
realNodeHitCount.put(serverNode, hitCount);
}
System.out.println("实际节点数:" + realNodes.size() + ",虚拟节点数:" + (realNodes.size() * VIRTUAL_NODES) + ", 模拟key数量:" + virtualKeyNum);
System.out.println(realNodes);
for (String realNode : realNodeHitCount.keySet()) {
System.out.println("节点:" + realNode + "被命中次数:" + realNodeHitCount.get(realNode));
}
}
/**
* 使用FNV1_32_HASH算法计算服务器的Hash值,这里不使用重写hashCode的方法,最终效果没区别
*/
private static int getHash(String str) {
final int p = 16777619;
int hash = (int) 2166136261L;
for (int i = 0; i < str.length(); i++) {
hash = (hash ^ str.charAt(i)) * p;
}
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;
// 如果算出来的值为负数则取其绝对值
if (hash < 0) {
hash = Math.abs(hash);
}
return hash;
}
/**
* 得到应当路由到的结点
*/
private static String getServerNode(String key) {
// 得到带路由的结点的Hash值
int hash = getHash(key);
// 得到大于该Hash值的所有Map
SortedMap<Integer, String> subMap = virtualNodes.tailMap(hash);
// 第一个Key就是顺时针过去离node最近的那个结点
Integer i = subMap.firstKey();
// 返回对应的虚拟节点名称,这里字符串稍微截取一下
String virtualNode = subMap.get(i);
return virtualNode.substring(0, virtualNode.indexOf("virtual_node"));
}
}
复制代码
划线
评论
复制
发布于: 2021 年 01 月 31 日阅读数: 18
潘涛
关注
还未添加个人签名 2020.02.25 加入
还未添加个人简介
评论