写点什么

第 5 周作业

用户头像
关注
发布于: 2020 年 07 月 08 日

作业一:

  • 用你熟悉的编程语言实现一致性 hash 算法。

package com.example.demo;

import java.util.HashMap;
import java.util.Map;
import java.util.SortedMap;
import java.util.TreeMap;

/**
* 带虚拟节点的一致性Hash算法
*
*/
public class ConsistentHashVirtualNode {

/**
* 虚拟节点,key表示虚拟节点的hash值,value表示虚拟节点的名称
*/
private static SortedMap<Integer, String> virtualNodes = new TreeMap<Integer, String>();

/***
* 把真实服务器映射成虚拟节点,如10台服务器,每个服务器映射100个虚拟节点,则10台服务器生成1000个虚拟节点
*
* @param servers
* 真实服务器
* @param virtualNodes
* 每个服务器对应的虚拟节点数
* @return 返回虚拟节点
*/
private static SortedMap<Integer, String> createVirtualNodes(String[] servers, int perVirtualNodes) {
// 添加虚拟节点
for (String str : servers) {
for (int i = 0; i < perVirtualNodes; i++) {
String virtualNodeName = str + "&&VirtualNode" + String.valueOf(i);
int hash = getHash(virtualNodeName);
// System.out.println("虚拟节点[" + virtualNodeName + "]被添加, hash值为" + hash);
virtualNodes.put(hash, virtualNodeName);
}
}
return virtualNodes;
}

/**
* 使用FNV1_32_HASH算法计算服务器的Hash值,这里不使用重写hashCode的方法,最终效果没区别
*/
private static int getHash(String str) {
final int p = 16777619;
int hash = (int) 2166136261L;
for (int i = 0; i < str.length(); i++)
hash = (hash ^ str.charAt(i)) * p;
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;

// 如果算出来的值为负数则取其绝对值
if (hash < 0)
hash = Math.abs(hash);
return hash;
}

/***
* 得到对应的虚拟节点
* @param node
* @return
*/
private static String getVirtualNode(String node) {
// 得到带路由的结点的Hash值
int hash = getHash(node);
// 得到大于该Hash值的所有Map
SortedMap<Integer, String> subMap = virtualNodes.tailMap(hash);
String virtualNode;
if(subMap.isEmpty()){
//如果没有比该key的hash值大的,则从第一个node开始
Integer i = virtualNodes.firstKey();
//返回对应的服务器
virtualNode = virtualNodes.get(i);
}else{
//第一个Key就是顺时针过去离node最近的那个结点
Integer i = subMap.firstKey();
//返回对应的服务器
virtualNode = subMap.get(i);

}
return virtualNode;
}
/**
* 根据虚拟节点得到真实的服务器节点
*/
private static String getServer(String virtualNode) {
return virtualNode.substring(0, virtualNode.indexOf("&&"));
}

public static void main(String[] args) {
String[] servers = { "192.168.0.0:111", "192.168.0.1:111", "192.168.0.2:111", "192.168.0.3:111",
"192.168.0.4:111", "192.168.0.5:111", "192.168.0.6:111", "192.168.0.7:111", "192.168.0.8:111",
"192.168.0.9:111" };
int perVirtualNodes = 10;
createVirtualNodes(servers, perVirtualNodes);
int size = 1000000;
Map<String, Integer> count = new HashMap<String, Integer>();
for (int i = 0; i < size; i++) {
String testCahce = "cache" + i;
// getVirtualNode(testCahce);
String virtualNode = getVirtualNode(testCahce);
String server = getServer(virtualNode);
if (count.containsKey(server)) {
int value = count.get(server) + 1;
count.put(server, value);
} else {
count.put(server, 0);
}
// System.out.println("[" + testCahce + "]的hash值为" +
// getHash(testCahce) + ", 被路由到虚拟结点[" + virtualNode +
// "],对应的实际节点为"+getServer(virtualNode)+"");
}
int avg = size / servers.length;
System.out.println("总缓存个数:" + size + ", 服务器台数:" + servers.length + " 每服务器虚拟节点数:" + perVirtualNodes + " 平均值:"
+ avg);
// 标准差公式: (每个样本 - 平均值)的平方 / (服务器数 - 1),结果再取平方根
long diff = 0;
for (Map.Entry<String, Integer> entry : count.entrySet()) {
System.out.println("服务器名称:" + entry.getKey() + ", 命中的key总数: " + entry.getValue());
long tmp = entry.getValue() - avg;
diff += (tmp * tmp);
}
diff /= (servers.length - 1);
System.out.println("标准方差为:" + Math.sqrt(diff));
}
}



  • 编写测试用例测试这个算法,测试 100 万 KV 数据,10 个服务器节点的情况下,计算这些 KV 数据在服务器上分布数量的标准差,以评估算法的存储负载不均衡性。

标准差主要看hash算法是否足够散列,好的hash算法,计算出来的标准差较小。

根据上面代码运行结果为:

总缓存个数:1000000, 服务器台数:10 每服务器虚拟节点数:10 平均值:100000
服务器名称:192.168.0.2:111, 命中的key总数: 74750
服务器名称:192.168.0.8:111, 命中的key总数: 174771
服务器名称:192.168.0.7:111, 命中的key总数: 95279
服务器名称:192.168.0.6:111, 命中的key总数: 143035
服务器名称:192.168.0.1:111, 命中的key总数: 81434
服务器名称:192.168.0.4:111, 命中的key总数: 63169
服务器名称:192.168.0.3:111, 命中的key总数: 75714
服务器名称:192.168.0.5:111, 命中的key总数: 67847
服务器名称:192.168.0.0:111, 命中的key总数: 123740
服务器名称:192.168.0.9:111, 命中的key总数: 100251
标准方差为:36501.23091075149



作业二:分布式缓存&消息队列&异步框架总结

分布式缓存

1、缓存是介于数据访问者和数据源之间的一种高速存储,当数据需要多次读取时,用于加快读取的速度。

2、缓存的关键指标-缓存命中率:缓存是否有效依赖于能多少次重用同一个缓存响应业务请求,这个度量指标被称作缓存命中率。

3、通读缓存(read-through):客户端访问缓存时,如果缓存没有命中,缓存去访问应用服务端,将应用服务端数据返回给客户端,同时将应用服务端数据写入到缓存。客户端只访问缓存,并未感知到应用服务端。常见的通读缓存有代理缓存、反向代理缓存、cdn缓存。

4、旁路缓存(cache-aside):客户端访问缓存时,如果缓存没有命中,由客户端直接访问应用服务端获取数据,获取数据后,再将应用服务端数据写入到缓存。对象缓存是一种旁路缓存,旁路缓存通常是一个独立的键值对存储,如redis、memcached等。

5、分布式对象缓存的一致性hash算法。



消息队列&异步框架

1、同步调用,如果远程系统耗时久,则系统线程阻塞,等待远程系统返回。

2、异步调用,系统访问远程系统时,将请求(数据)写入到队列后线程就释放,由处理远程系统的线程去消费队列,消费后再去调用远程系统。

3、消息队列构建异步调用架构

点对点模型:

发布订阅模型:

4、消息队列的优点:异步处理、更好伸缩、解耦、削峰填谷、失败隔离和自我修复。

5、通过消息队列实现事件驱动架构EDA

6、MQ的主要产品:RabbitMQ、ActiveMQ、RocketMQ和kafka。在架构选型时,需要根据项目团队采用的语言,熟悉程度去挑选适合自己项目的消息队列产品。

7、负载均衡。常见的负载均衡算法:轮询、加权轮询、随机、最少连接、源地址散列

用户头像

关注

还未添加个人签名 2018.04.25 加入

还未添加个人简介

评论

发布
暂无评论
第5周作业