前言
.Net Core 为我们提供了一套强大的 Configuration 配置系统，使用简单扩展性强。通过这套配置系统我们可以将 Json、Xml、Ini 等数据源加载到程序中,也可以自己扩展其他形式的存储源。今天我们要做的就是通过自定义的方式为其扩展 Etcd 数据源操作。
何为 Etdc
在使用 etcd 之前我们先介绍一下 Etcd，我相信很多同学都早有耳闻。Etcd是一款高可用、强一致的分布式 KV 存储系统，它内部采用raft协议作为一致性算法，本身也是基于 GO 语言开发的，最新版本为 v3.4.9，具体版本下载地址可参阅官方GitHub地址。相信了解过 K8S 的同学对这个肯定不陌生，它是 K8S 的数据管理系统。官方地址为https://etcd.io/。 在此之前，我相信大家已经了解过很多存储系统了,Etcd 到底能实现了什么功能呢？其一用于配置中心和服务发现，再者也可以实现分布式锁和消息系统。它本身就是基于目录型存储,并且内部有一套强大的 Watch 机制可以监听针对节点和数据的操作变化，每次对节点的事务操作都会有对于的版本信息。
Etcd VS Zookeeper
通过上面的介绍是不是感觉和 Zookeeper 有点类似呢😂😂😂，网上有很多很多关于 Etcd 和 Zookeeper 的对比文章,大致如下可以得到以下结论
说白了就是 Zookeeper 能干的活，Etcd 也能干。那既然有了 Zookeeper 为啥还要选择 Etcd,主要基于以下原因
更轻量级(Etcd 基于 GO 语言开发,Zookeeper 基于 Java 开发)、更易用(开箱即用)
高负载下的稳定读写
数据模型的多版本并发控制
稳定的 watcher 功能，通知订阅者监听值的变化(Zookeeper 基于数据的监听是一次性的，每次监听完成还需重新注册)
客户端协议使用 GRPC 协议，支持语言更广泛
一言以蔽之,就是不仅实现了 Zookeeper 的功能，还在很多方面吊打 Zookeeper😏😏😏，这么强大的东西忍不住都要试一试。
在.Net Core 中使用 Etcd
在 Nuget 上可以搜索到很多.Net Core 的 Etcd 客户端驱动程序，我使用了下载量最多的一个名字叫dotnet-etcd的驱动包，顺便找到了它在 GayHub 上,不好意思手滑打错了😱😱😱GitHub上的项目地址，大概学习了一下基本的使用方式。其实我们结合 Configuration 配置这一块，只需要两个功能。一个是 Get 获取数据，另一个是 Watch 节点变化(更新数据会用到)。个人认为,前期有目有边界的学习还是非常重要的。
Configuration 扩展 Etcd
前面我们讲到过自定义扩展 Configuration 是非常方便的，相信了解过Configuration相关源码的小伙伴们已经非常熟悉了，大致总结一下分为三步:
编写 IConfigurationBuilder 扩展方法,我们这里叫 AddEtcd
编写实现 IConfigurationSource 的配置源信息类，我们这里叫 EtcdConfigurationSource
编写继承自 ConfigurationProvider 的 ConfigurationSource 的配置数据提供类，我们这里叫 EtcdConfigurationProvider
因为微软已经给我们提供了一部分便利,所以编写起来还是非常的简单的。好了，接下来我们开始编写具体的实现代码，重点的地方我会在代码中注释说明。
首先是定义扩展类 EtcdConfigurationExtensions，这个类是针对 IConfigurationBuilder 的扩展方法，实现如下
public static class EtcdConfigurationExtensions{ /// <summary> /// AddEtcd扩展方法 /// </summary> /// <param name="serverAddress">Etcd地址</param> /// <param name="path">读取路径</param> /// <returns></returns> public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, string serverAddress,string path) { return AddEtcd(builder, serverAddress:serverAddress, path: path,reloadOnChange: false); }
/// <summary> /// AddEtcd扩展方法 /// </summary> /// <param name="serverAddress">Etcd地址</param> /// <param name="path">读取路径</param> /// <param name="reloadOnChange">如果数据发送改变是否刷新</param> /// <returns></returns> public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, string serverAddress, string path, bool reloadOnChange) { return AddEtcd(builder,options => { options.Address = serverAddress; options.Path = path; options.ReloadOnChange = reloadOnChange; }); }
public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, Action<EtcdOptions> options) { EtcdOptions etcdOptions = new EtcdOptions(); options.Invoke(etcdOptions); return builder.Add(new EtcdConfigurationSource { EtcdOptions = etcdOptions }); }}
复制代码
这里我还定义了一个 EtcdOptions 的 POCO,用于承载读取 Etcd 的配置属性
public class EtcdOptions{ /// <summary> /// Etcd地址 /// </summary> public string Address { get; set; }
/// <summary> /// Etcd访问用户名 /// </summary> public string UserName { get; set; }
/// <summary> /// Etcd访问密码 /// </summary> public string PassWord { get; set; }
/// <summary> /// Etcd读取路径 /// </summary> public string Path { get; set; }
/// <summary> /// 数据变更是否刷新读取 /// </summary> public bool ReloadOnChange { get; set; }}
复制代码
接下来我们定义 EtcdConfigurationSource，这个类非常简单就是返回一个配置提供对象
public class EtcdConfigurationSource : IConfigurationSource{ public EtcdOptions EtcdOptions { get; set; }
public IConfigurationProvider Build(IConfigurationBuilder builder) { return new EtcdConfigurationProvider(EtcdOptions); }}
复制代码
真正的读取操作都在 EtcdConfigurationProvider 里
public class EtcdConfigurationProvider : ConfigurationProvider{ private readonly string _path; private readonly bool _reloadOnChange; private readonly EtcdClient _etcdClient;
public EtcdConfigurationProvider(EtcdOptions options) { //实例化EtcdClient _etcdClient = new EtcdClient(options.Address,username: options.UserName,password: options.PassWord); _path = options.Path; _reloadOnChange = options.ReloadOnChange; }
/// <summary> /// 重写加载方法 /// </summary> public override void Load() { //读取数据 LoadData(); //数据发生变化是否重新加载 if (_reloadOnChange) { ReloadData(); } }
private void LoadData() { //读取Etcd里的数据 string result = _etcdClient.GetValAsync(_path).GetAwaiter().GetResult(); if (string.IsNullOrEmpty(result)) { return; } //转换一下数据结构，这里我使用的是json格式 //读取的数据只要赋值到Data属性上即可,IConfiguration真正读取的数据就是存储到Data的字典数据 Data = ConvertData(result); }
private IDictionary<string,string> ConvertData(string result) { byte[] array = Encoding.UTF8.GetBytes(result); MemoryStream stream = new MemoryStream(array); //JsonConfigurationFileParser是将json数据转换为Configuration可读取的结构(复制JsonConfiguration类库里的😄😄😄) return JsonConfigurationFileParser.Parse(stream); }
private void ReloadData() { WatchRequest request = new WatchRequest() { CreateRequest = new WatchCreateRequest() { //需要转换一个格式,因为etcd v3版本的接口都包含在grpc的定义中 Key = ByteString.CopyFromUtf8(_path) } }; //监听Etcd节点变化,获取变更数据，更新配置 _etcdClient.Watch(request, rsp => { if (rsp.Events.Any()) { var @event = rsp.Events[0]; //需要转换一个格式,因为etcd v3版本的接口都包含在grpc的定义中 Data = ConvertData(@event.Kv.Value.ToStringUtf8()); //需要调用ConfigurationProvider的OnReload方法触发ConfigurationReloadToken通知 //这样才能对使用Configuration的类发送数据变更通知 //比如IOptionsMonitor就是通过ConfigurationReloadToken通知变更数据的 OnReload(); } }); }}
复制代码
使用方式如下
builder.AddEtcd("http://127.0.0.1:2379", "service/mydemo", true);
复制代码
顺便给大家推荐一个 Etcd 可视化管理工具ETCD Manager，以便更好的学习 Etcd。到这里，基本上就结束了，是不是非常简单。主要还是 Configuration 本身的设计思路比较清晰，所以实现起来也不费劲。
总结
以上代码都已经上传了我的GitHub，该仓库还扩展了其他数据源的读取比如 Consul、Properties 文件、Yaml 文件的读取，实现思路也都大致相似,有兴趣的同学可以自行查阅。由于主要是讲解实现思路,可能许多细节并未做处理还望见谅。如果有疑问或者更好的建议，欢迎评论区交流指导。
评论