架构师训练营 - 第 5 周命题作业
发布于: 2020 年 07 月 06 日
一致性Hash算法也是使用取模的方法,不过,取模方法是对服务器的数量进行取模,而一致性的Hash算法是对2的32方
取模。即,一致性Hash算法将整个Hash空间组织成一个虚拟的圆环,Hash函数的值空间为0 ~ 2^32 - 1(一个32位无符号整型)
。
整个圆环以顺时针方向组织
,圆环正上方的点代表0,0点右侧的第一个点代表1,以此类推。
第二步,我们将各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台服务器就确定在了哈希环的一个位置上,比如我们有三台机器,使用IP地址哈希后在环空间的位置
public class ConsistentHash<T> { // 每个机器节点关联的虚拟节点数量 private final int numberOfReplicas; // 环形虚拟节点 private final SortedMap<Long, T> circle = new TreeMap<Long, T>(); public ConsistentHash(int numberOfReplicas, Collection<T> nodes) { this.numberOfReplicas = numberOfReplicas; for (T node : nodes) { add(node); } } /** * 增加真实机器节点 * * @param node T */ public void add(T node) { for (int i = 0; i < this.numberOfReplicas; i++) { circle.put(this.hash(node.toString() + i), node); } } /** * 删除真实机器节点 * * @param node T */ public void remove(T node) { for (int i = 0; i < this.numberOfReplicas; i++) { circle.remove(this.hash(node.toString() + i)); } } public T get(String key) { if (circle.isEmpty()) return null; long hash = hash(key); // 沿环的顺时针找到一个虚拟节点 if (!circle.containsKey(hash)) { SortedMap<Long, T> tailMap = circle.tailMap(hash); hash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey(); } return circle.get(hash); } /** * MurMurHash算法,性能高,碰撞率低 * * @param key String * @return Long */ public Long hash(String key) { ByteBuffer buf = ByteBuffer.wrap(key.getBytes()); int seed = 0x1234ABCD; ByteOrder byteOrder = buf.order(); buf.order(ByteOrder.LITTLE_ENDIAN); long m = 0xc6a4a7935bd1e995L; int r = 47; long h = seed ^ (buf.remaining() * m); long k; while (buf.remaining() >= 8) { k = buf.getLong(); k *= m; k ^= k >>> r; k *= m; h ^= k; h *= m; } if (buf.remaining() > 0) { ByteBuffer finish = ByteBuffer.allocate(8).order(ByteOrder.LITTLE_ENDIAN); finish.put(buf).rewind(); h ^= finish.getLong(); h *= m; } h ^= h >>> r; h *= m; h ^= h >>> r; buf.order(byteOrder); return h; } public class Node<T> { private String ip; private String name; public Node(String ip, String name) { this.ip = ip; this.name = name; } public String getIp() { return ip; } public void setIp(String ip) { this.ip = ip; } public String getName() { return name; } public void setName(String name) { this.name = name; } /** * 使用IP当做hash的Key * * @return String */ @Override public String toString() { return ip; }} // 机器节点IP前缀 private static final String IP_PREFIX = "192.168.0."; public static void main(String[] args) { // 每台真实机器节点上保存的记录条数 Map<String, Integer> map = new HashMap<String, Integer>(); // 真实机器节点, 模拟10台 List<Node<String>> nodes = new ArrayList<Node<String>>(); for (int i = 1; i <= 10; i++) { map.put(IP_PREFIX + i, 0); // 初始化记录 Node<String> node = new Node<String>(IP_PREFIX + i, "node" + i); nodes.add(node); } IHashService iHashService = new HashService(); // 每台真实机器引入100个虚拟节点 ConsistentHash<Node<String>> consistentHash = new ConsistentHash<Node<String>>(iHashService, 500, nodes); // 将5000条记录尽可能均匀的存储到10台机器节点上 for (int i = 0; i < 5000; i++) { // 产生随机一个字符串当做一条记录,可以是其它更复杂的业务对象,比如随机字符串相当于对象的业务唯一标识 String data = UUID.randomUUID().toString() + i; // 通过记录找到真实机器节点 Node<String> node = consistentHash.get(data); // 再这里可以能过其它工具将记录存储真实机器节点上,比如MemoryCache等 // ... // 每台真实机器节点上保存的记录条数加1 map.put(node.getIp(), map.get(node.getIp()) + 1); } // 打印每台真实机器节点保存的记录条数 for (int i = 1; i <= 10; i++) { System.out.println(IP_PREFIX + i + "节点记录条数:" + map.get(IP_PREFIX + i)); } }}
划线
评论
复制
发布于: 2020 年 07 月 06 日 阅读数: 41
版权声明: 本文为 InfoQ 作者【红了哟】的原创文章。
原文链接:【http://xie.infoq.cn/article/dcb9fc223f459d270d10d3b8b】。文章转载请联系作者。
红了哟
关注
还未添加个人签名 2019.08.15 加入
还未添加个人简介
评论