第 5 周作业提交
作业一（2 选 1）：
用你熟悉的编程语言实现一致性 hash 算法。
从网络上找了几个例子，如下
1.1 不带虚拟节点的一致性 Hash 算法的 Java 代码实现
/**
* 不带虚拟节点的一致性 Hash 算法
*
*/
public class ConsistentHashingWithoutVNode
{
/**
* 待添加入 Hash 环的服务器列表
*/
private static String[] servers = {"192.168.0.0:111", "192.168.0.1:111", "192.168.0.2:111",
"192.168.0.3:111", "192.168.0.4:111"};
/**
* key 表示服务器的 hash 值，value 表示服务器的名称
*/
private static SortedMap<Integer, String> sortedMap =
new TreeMap<Integer, String>();
/**
* 程序初始化，将所有的服务器放入 sortedMap 中
*/
static
{
for (int i = 0; i < servers.length; i++)
{
int hash = getHash(servers[i]);
System.out.println("[" + servers[i] + "]加入集合中, 其 Hash 值为" + hash);
sortedMap.put(hash, servers[i]);
}
System.out.println();
}
/**
* 使用 FNV132HASH 算法计算服务器的 Hash 值,这里不使用重写 hashCode 的方法，最终效果没区别
*/
private static int getHash(String str)
{
final int p = 16777619;
int hash = (int)2166136261L;
for (int i = 0; i < str.length(); i++)
hash = (hash ^ str.charAt(i)) * p;
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;
// 如果算出来的值为负数则取其绝对值
if (hash < 0)
hash = Math.abs(hash);
return hash;
}
/**
* 得到应当路由到的结点
*/
private static String getServer(String node)
{
// 得到带路由的结点的 Hash 值
int hash = getHash(node);
// 得到大于该 Hash 值的所有 Map
SortedMap<Integer, String> subMap =
sortedMap.tailMap(hash);
// 第一个 Key 就是顺时针过去离 node 最近的那个结点
Integer i = subMap.firstKey();
// 返回对应的服务器名称
return subMap.get(i);
}
public static void main(String[] args) {
String[] nodes = {"127.0.0.1:1111", "221.226.0.1:2222", "10.211.0.1:3333"};
for (int i = 0; i < nodes.length; i++)
System.out.println("[" + nodes[i] + "]的 hash 值为" +
getHash(nodes[i]) + ", 被路由到结点[" + getServer(nodes[i]) + "]");
}
}
1.2 带虚拟节点的一致性 Hash 算法
/**
* 带虚拟节点的一致性 Hash 算法
*/
public class ConsistentHashingWithVNode
{
/**
* 待添加入 Hash 环的服务器列表
*/
private static String[] servers = {"192.168.0.0:111", "192.168.0.1:111", "192.168.0.2:111",
"192.168.0.3:111", "192.168.0.4:111"};
/**
* 真实结点列表,考虑到服务器上线、下线的场景，即添加、删除的场景会比较频繁，这里使用 LinkedList 会更好
*/
private static List<String> realNodes = new LinkedList<String>();
/**
* 虚拟节点，key 表示虚拟节点的 hash 值，value 表示虚拟节点的名称
*/
private static SortedMap<Integer, String> virtualNodes =
new TreeMap<Integer, String>();
/**
* 虚拟节点的数目，这里写死，为了演示需要，一个真实结点对应 5 个虚拟节点
*/
private static final int VIRTUAL_NODES = 5;
static
{
// 先把原始的服务器添加到真实结点列表中
for (int i = 0; i < servers.length; i++)
realNodes.add(servers[i]);
// 再添加虚拟节点，遍历 LinkedList 使用 foreach 循环效率会比较高
for (String str : realNodes)
{
for (int i = 0; i < VIRTUAL_NODES; i++)
{
String virtualNodeName = str + "&&VN" + String.valueOf(i);
int hash = getHash(virtualNodeName);
System.out.println("虚拟节点[" + virtualNodeName + "]被添加, hash 值为" + hash);
virtualNodes.put(hash, virtualNodeName);
}
}
System.out.println();
}
/**
* 使用 FNV132HASH 算法计算服务器的 Hash 值,这里不使用重写 hashCode 的方法，最终效果没区别
*/
private static int getHash(String str)
{
final int p = 16777619;
int hash = (int)2166136261L;
for (int i = 0; i < str.length(); i++)
hash = (hash ^ str.charAt(i)) * p;
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;
// 如果算出来的值为负数则取其绝对值
if (hash < 0)
hash = Math.abs(hash);
return hash;
}
/**
* 得到应当路由到的结点
*/
private static String getServer(String node)
{
// 得到带路由的结点的 Hash 值
int hash = getHash(node);
// 得到大于该 Hash 值的所有 Map
SortedMap<Integer, String> subMap =
virtualNodes.tailMap(hash);
// 第一个 Key 就是顺时针过去离 node 最近的那个结点
Integer i = subMap.firstKey();
// 返回对应的虚拟节点名称，这里字符串稍微截取一下
String virtualNode = subMap.get(i);
return virtualNode.substring(0, virtualNode.indexOf("&&"));
}
public static void main(String[] args)
{
String[] nodes = {"127.0.0.1:1111", "221.226.0.1:2222", "10.211.0.1:3333"};
for (int i = 0; i < nodes.length; i++)
System.out.println("[" + nodes[i] + "]的 hash 值为" +
getHash(nodes[i]) + ", 被路由到结点[" + getServer(nodes[i]) + "]");
}
}
编写测试用例测试这个算法，测试 100 万 KV 数据，10 个服务器节点的情况下，计算这些 KV 数据在服务器上分布数量的标准差，以评估算法的存储负载不均衡性。
这个题还不会做，网上找个一些资料，还要深入研究一下。https://www.freesion.com/article/42541341588/
还未添加个人签名 2018.04.27 加入
还未添加个人简介
评论