【架构师训练营 1 期】第五周作业
发布于: 2020 年 10 月 26 日
对一致性哈希算法的个人理解:
1、由 0~(2^32)-1 构成(头尾相连)的一个闭合环形。
2、利用 Hash 算法将服务器节点(IP 或唯一别名作为 Key 计算 hash 值)映射到环中(均匀分布在环中)。
3、用一样的 Hash 算法将存储对象(Key 的 hash 值)也映射到环中,然后以顺时针方向计算,将所有对象存储到离自己最近的服务器节点中。
4、为了尽可能保持各节点压力均衡,引入了虚拟节点,即一个实际服务器节点对应了若干个虚拟节点(复制个数),将虚拟节点使用一样的 Hash 算法映射到环中(均匀分布在环中),从而使得对象存储时先匹配到离自己最近的虚拟节点,再存储到虚拟节点对应的服务器节点中。
实现过程如下:(参考了网上的代码)
import java.util.LinkedList;
import java.util.List;
import java.util.SortedMap;
import java.util.TreeMap;
import org.apache.commons.lang.StringUtils;
/**
* 一致性Hash算法 (带虚拟节点,参考网上的做法)
*/
public class ConsistentHashTest {
// 服务器列表(模拟)
private static String[] servers = {"192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4"};
// 真实结点列表
private static List<String> realNodes = new LinkedList<String>();
// 虚拟节点(key表示虚拟节点的hash值,value表示虚拟节点的名称)
private static SortedMap<Integer, String> virtualNodes = new TreeMap<Integer, String>();
// 虚拟节点的数量(即一个真实结点对应的个虚拟节点个数)
private static final int VIRTUAL_NODES = 3; // 可以是150个(这里模拟3个)
static {
// 初始化真实结点列表
for(int i = 0; i < servers.length; i++) {
realNodes.add(servers[i]);
}
// 初始化虚拟节点列表
for (String str : realNodes) {
for (int i = 0; i < VIRTUAL_NODES; i++) {
String virtualNodeName = str + "#N" + String.valueOf(i);
int hash = getHash(virtualNodeName);
System.out.println("虚拟节点[" + virtualNodeName + "]已添加,hash值为:" + hash);
virtualNodes.put(hash, virtualNodeName);
}
}
System.out.println();
}
// 使用FNV1_32_HASH算法计算服务器的Hash值
private static int getHash(String str) {
final int p = 16777619;
int hash = (int)2166136261L;
for (int i = 0; i < str.length(); i++)
hash = (hash ^ str.charAt(i)) * p;
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;
// 若算出来的值为负数则取其绝对值
if (hash < 0)
hash = Math.abs(hash);
return hash;
}
// 得到应路由到的结点
private static String getServer(String key) {
// 得到该key的hash值
int hash = getHash(key);
// 得到大于该Hash值的所有Map
SortedMap<Integer, String> subMap = virtualNodes.tailMap(hash);
String virtualNode;
if (subMap.isEmpty()) {
// 如果没有比该key的hash值大的,则从第一个node开始
Integer i = virtualNodes.firstKey();
// 返回对应的服务器
virtualNode = virtualNodes.get(i);
} else {
// 第一个Key就是顺时针过去离node最近的那个结点
Integer i = subMap.firstKey();
// 返回对应的服务器
virtualNode = subMap.get(i);
}
// 截去virtualNode虚拟节点的名称
if (StringUtils.isNotBlank(virtualNode)) {
return virtualNode.substring(0, virtualNode.indexOf("#"));
}
return null;
}
public static void main(String[] args) {
String[] keys = {"测试111", "Test123", "demo000", "演示", "showshow"};
for (int i = 0; i < keys.length; i++)
System.out.println("[" + keys[i] + "]的hash值为:" + getHash(keys[i]) + ", 被路由到结点[" + getServer(keys[i]) + "]");
}
}
复制代码
划线
评论
复制
发布于: 2020 年 10 月 26 日阅读数: 16
诺乐
关注
还未添加个人签名 2018.12.01 加入
还未添加个人简介
评论