一、背景
Hystrix 是 Netlifx 开源的一款容错框架，防雪崩利器，具备服务降级，服务熔断，依赖隔离，监控(Hystrix Dashboard)等功能。
尽管说 Hystrix 官方已不再维护，且有 Alibaba Sentinel 等新框架选择，但从组件成熟度和应用案例等方面看，其实还是有很多项目在继续使用 Hystrix 中，本人所参与的项目就是其一。故结合个人的 Hystrix 实战经验与大家分享交流。
二、经验总结
2.1 隔离策略的选择
Hystrix 提供两种资源隔离策略，线程池和信号量。它们之间的异同点如下：
而在使用缓存(本地内存缓存更适合该场景，Redis 等网络缓存需要评估)时，我们可以使用信号量隔离策略，因为这类服务响应快，不会占用容器线程太长时间，而且也减少了线程切换的一些开销，提高了服务效率。
具体使用哪种策略，需根据业务场景综合评估。一般情况下，推荐使用线程池隔离。
2.2 线程池大小与超时时间设置
在线程池隔离策略下，线程池大小及超时时间的设置至关重要，直接影响着系统服务的响应能力。如线程池大小若设置的太大会造成资源浪费及线程切换等开销；若设置的太小又支撑不了用户请求，造成请求排队。而超时时间设置的太长会出现部分长耗时请求阻塞线程，造成其它正常请求排队等待；若设置的太短又会造成太多正常请求被熔断。
对此 Hystrix 官方给的建议如图：
即转换为以下计算公式：
例如某服务 TP99 情况下每秒钟会接收 30 个请求，然后每个请求的响应时长是 200ms，按如上公式计算可得：线程池大小 = 0.2 * 30 + 4（冗余缓冲值）= 10，超时时间 = 300ms
2.3 注解叠加
在实际开发中可能会遇到某外部调用方法有 Hystrix 注解与其它注解一起使用的情况，例如查询方法加上缓存注解。此时需特别注意注解间的执行顺序，避免出现非预期的结果：
此时 Hystrix 注解切面的执行是在最外层，由于 Hystrix 内部执行是通过 ProceedingJoinPoint.getTarget()获取目标对象，使用反射调用的方式直接执行到目标对象方法上，从而造成中间其它注解逻辑丢失。可通过指定注解执行顺序 @Order 解决保证 Hystrix 注解执行在最里层。
如果 Hystrix 注解切面的执行是在最外层，此时 Hystrix 熔断管理的方法逻辑除了第三方服务远程调用，也包括了缓存调用逻辑。如果缓存调用出现异常就会算作整个方法异常，从而引起整个方法被熔断。
2.4 服务的异常处理
先给大家时间看如下代码，检查是否存在问题：
@HystrixCommand(fallbackMethod="queryUserByIdFallback")public User queryUserById(String userId) { if(StringUtils.isEmpty(userId)) { throw new BizException("参数不合法"); } Result<User> result; try { result = userFacade.queryById(userId); } catch(Exception e) { log.error("query user error. id={}", id, e); } if(result != null && result.isSuccess()) { return result.getData(); } return null;}
复制代码
Hystrix 在运行过程中会根据调用请求的成功率或失败率信息来确定每个依赖命令的熔断器是否打开。如果打开，后续的请求都会被拒绝。由此可见，对异常的控制是 Hystrix 运行效果起很大影响。
再回头看上面的例子，会发现两个异常处理问题：
非法参数校验等非系统调用的异常失败不应该影响熔断逻辑，不应该算作失败统计范围内。对此优化建议是将参数校验放到远程调用封装方法的外面，或者封装成 HystrixBadRequestException 进行抛出。因为在 Hystrix 内部逻辑中 HystrixBadRequestException 异常已默认为不算作失败统计范围内。
对远程服务的直接调用进行 try-catch 会把异常直接“吞掉”，会直接造成 Hystrix 获取不到网络异常等服务不可用异常。建议在 catch 日志记录处理后将异常再 throw 出来。
2.5 fallback 方法
Hystrix 在依赖服务调用时通过增加 fallback 方法返回默认值的方式来支持服务优雅降级。但 fallback 的使用也有很多需要注意的地方，大致总结如下：
fallback 方法访问级别、参数等要与对应依赖服务一致
fallback 方法中执行的逻辑尽量轻量，如用本地缓存或静态默认值，避免远程调用
如果 fallback 方法里有远程调用，建议也使用 Hystrix 包装起来，且保证与主命令线程池的隔离
对于写操作的远程调用不建议使用 fallback 降级
2.6 groupKey、commandKey、threadPoolKey
在使用 Hystrix 开发中肯定都见过这三个 key，但很多人并不理解这三个 key 的意义以及对 Hystrix 的作用，尤其是 threadPooKey，故在此总结下：
groupKey
通过 group key 可以对命令方法进行分组，便于 Hystrix 数据统计、告警及 dashboad 展示。一般会根据远程服务的业务类型进行区分，如账户服务定义一个 group key，订单服务定义另一个 group key。
默认值是 @HystrixCommand 注解标注的方法所在的类名。
commandKey
具体命令方法的标识名称，常用于对该命令进行动态参数设置。
默认值是 @HystrixCommand 注解标注的方法名。
threadPoolKey
用于标识命令所归属的线程池，具有相同 threadPoolKey 的命令使用同一个线程池。
若该 key 不指定，默认值就是 groupKey，即 @HystrixCommand 注解标注的方法所在的类名。
在实际项目中，我们会建议尽量通过 threadPoolKey 来指定线程池， 而不是通过 groupKey 的默认方式划分， 因为会存在某个命令需要跟同组其他命令进行线程隔离的场景，以避免互相影响。
2.7 参数优先级
Hystrix 默认提供 4 个级别的参数值配置方式：
全局默认值(Default Value)
Hystrix 自身代码默认值，写死在源码中的值，使用方不配置任何参数情况下生效。
例：execution.isolation.thread.timeoutInMilliseconds 超时时间全局默认值是 1000，单位毫秒
动态全局默认参数(Default Property)
此类配置参数可变更全局默认值。
例：通过属性名 hystrix.command.default.execution.isolation.thread.timeoutInMilliseconds 设置的超时时间值
实例初始值(Instant Value)
熔断器实例初始值，配置此类参数后，不再使用默认值。即写在代码注解中的属性值。
例：@HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "5000")
动态实例参数(Instant Property)
可动态调整一个熔断器实例的参数值
例：通过属性名 hystrix.command.HystrixCommandKey.execution.isolation.thread.timeoutInMilliseconds 设置的超时时间值
优先级关系:
动态实例参数(Instance Property) > 实例初始值 > 动态全局默认参数(Default Property) > 全局默认值(Default Value)
2.8 基于配置中心实现参数动态配置
Hystrix 默认使用 Archaius 实现动态设置，而 Archaius 默认会加载 classpath 下的 config.properties 文件，可通过在配置文件中加入对应属性 key-value 实现动态控制 Hystrix 行为。在分布式项目中使用配置中心进行统一配置管理是标配，因此需要基于配置中心的扩展实现 Hystrix 参数动态配置功能。
通过跟踪 HystrixCommand 的创建，发现 hystrix 最终通过 HystrixDynamicProperties 实现类根据参数属性名获取值，而 Hystrix 本身提供了 HystrixDynamicProperties 类的扩展机制，见 HystrixPlugins 类 367 行代码，可知 Hystrix 提供四种扩展方法：
通过系统参数
基于 Java SPI 机制
Archaius 动态属性扩展实现类（默认）
Hystrix 内置基于 System.getProperty 的 HystrixDynamicProperties 实现；
2.8.1 基于 Java SPI 机制
基于 spi 机制的扩展实现依赖两个类分别是 HystrixDynamicProperties 与 HystrixDynamicProperty，其中 HystrixDynamicProperties 类是需要实现的 Hystrix 动态属性扩展 spi 接口，提供了多个获取动态属性的方法，接口定义如下：
public interface HystrixDynamicProperties { /** * Requests a property that may or may not actually exist. * @param name property name, never <code>null</code> * @param fallback default value, maybe <code>null</code> * @return never <code>null</code> */ public HystrixDynamicProperty<String> getString(String name, String fallback); /** * Requests a property that may or may not actually exist. * @param name property name, never <code>null</code> * @param fallback default value, maybe <code>null</code> * @return never <code>null</code> */ public HystrixDynamicProperty<Integer> getInteger(String name, Integer fallback); /** * Requests a property that may or may not actually exist. * @param name property name, never <code>null</code> * @param fallback default value, maybe <code>null</code> * @return never <code>null</code> */ public HystrixDynamicProperty<Long> getLong(String name, Long fallback); /** * Requests a property that may or may not actually exist. * @param name property name * @param fallback default value * @return never <code>null</code> */ public HystrixDynamicProperty<Boolean> getBoolean(String name, Boolean fallback);}
复制代码
而 HystrixDynamicProperty 类具体表示一个参数属性，且有动态变更的能力，接口定义如下：
public interface HystrixDynamicProperty<T> extends HystrixProperty<T>{ public String getName(); /** * Register a callback to be run if the property is updated. * @param callback callback. */ public void addCallback(Runnable callback); }
复制代码
其中 addCallback 方法是实现属性动态变更的核心所在，如其注释说明的那样，它会在属性变更时注册 callback 回调方法进行属性动态刷新。而这块动态刷新逻辑是 Hystrix 内部已实现的，对于我们只需要自定义扩展时将 callback 保存，然后在配置中心变更时触发对应属性对象的 callback 方法即可。
实现步骤如下：
1、定义 HystrixDynamicProperty 实现类
完成动态属性类的自定义实现，包括 String/Integer/Long/Boolean 四种类型动态属性态实现。
如上面 HystrixDynamicProperty 类描述中说的那样，需要对 callback 进行保存，并在在收到配置中心属性变更时触发这些属性的 callback 方法，来实现属性的动态变更。这块逻辑可以参照观察者模式进行设计实现。
代码如下：
private abstract static class CustomDynamicProperty<T> implements HystrixDynamicProperty<T>, PropertyObserver { protected final String name; protected final T defaultValue; protected List<Runnable> callbacks;
protected CustomDynamicProperty(String propName, T defaultValue) { this.name = propName; this.defaultValue = defaultValue;
PropertyObserverManager.add(this); }
@Override public String getName() { return name; }
@Override public void addCallback(Runnable callback) { if (callbacks == null) callbacks = new ArrayList<>(1); this.callbacks.add(callback); }
@Override public String keyName() { return name; }
@Override public void update(PropertyItem item) { if(getName().equals(item.getName())) { for(Runnable r : callbacks) { r.run(); } } } }
private static class StringDynamicProperty extends CustomDynamicProperty<String> { protected StringDynamicProperty(String propName, String defaultValue) { super(propName, defaultValue); }
@Override public String get() { return ConfigManager.getString(name, defaultValue); } }
private static class IntegerDynamicProperty extends CustomDynamicProperty<Integer> { protected IntegerDynamicProperty(String propName, Integer defaultValue) { super(propName, defaultValue); }
@Override public Integer get() { String configValue = ConfigManager.get(name); if(StringUtils.isNotEmpty(configValue)) { return Integer.valueOf(configValue); } return defaultValue; } }
private static class LongDynamicProperty extends CustomDynamicProperty<Long> { protected LongDynamicProperty(String propName, Long defaultValue) { super(propName, defaultValue); }
@Override public Long get() { String configValue = ConfigManager.get(name); if(StringUtils.isNotEmpty(configValue)) { return Long.valueOf(configValue); } return defaultValue; } }
private static class BooleanDynamicProperty extends CustomDynamicProperty<Boolean> { protected BooleanDynamicProperty(String propName, Boolean defaultValue) { super(propName, defaultValue); }
@Override public Boolean get() { String configValue = ConfigManager.get(name); if(StringUtils.isNotEmpty(configValue)) { return Boolean.valueOf(configValue); } return defaultValue; } }
复制代码
其中 ConfigManager 类暂时默认为配置中心配置管理类，提供参数获取与参数监听器等功能。而 PropertyObserver 类（keyName/update 方法属于其定义）、PropertyObserverManager 类就是参照观察者模式定义实现的，负责观察者的注册与通知管理，来完成动态属性与配置中心变更通知间的联动。这两个类实现比较简单就不展示描述。
2、定义 HystrixDynamicProperties 实现类
基于第 1 步定义的 HystrixDynamicProperty 扩展类完成 HystrixDynamicProperties 的自定义。代码如下：
public class DemoHystrixDynamicProperties implements HystrixDynamicProperties { @Override public HystrixDynamicProperty<String> getString(String name, String fallback) { return new StringDynamicProperty(name, fallback); }
@Override public HystrixDynamicProperty<Integer> getInteger(String name, Integer fallback) { return new IntegerDynamicProperty(name, fallback); }
@Override public HystrixDynamicProperty<Long> getLong(String name, Long fallback) { return new LongDynamicProperty(name, fallback); }
@Override public HystrixDynamicProperty<Boolean> getBoolean(String name, Boolean fallback) { return new BooleanDynamicProperty(name, fallback); }}
复制代码
3、注册 SPI 实现类
在 META-INF/services/添加名为 com.netflix.hystrix.strategy.properties.HystrixDynamicProperties 的文本文件，内容为第 2 步 HystrixDynamicProperties 自定义实现类全路径名。
2.8.2 基于默认 Archaius 进行扩展
Hystrix 默认通过 Archaius 实现参数动态获取，而 Archaius 自身也提供自定义的参数获取方式，分别是 PolledConfigurationSource 接口 和 AbstractPollingScheduler 类，其中 PolledConfigurationSource 接口表示配置获取源，AbstractPollingScheduler 类表示配置定时刷新机制。
实现步骤如下：
1、创建配置获取源：
public class CustomCfgConfigurationSource implements PolledConfigurationSource { private final static String CONFIG_KEY_PREFIX = "hystrix"; @Override public PollResult poll(boolean initial, Object checkPoint) throws Exception { Map<String, Object> map = load(); return PollResult.createFull(map); } private Map<String, Object> load() throws Exception{ Map<String, Object> map = new HashMap<>(); Set<String> keys = ConfigManager.keys(); for(String key : keys) { if(key.startsWith(CONFIG_KEY_PREFIX)) { map.put(key, ConfigManager.get(key)); } } return map; }}
复制代码
其实现非常简单，核心实现就是 poll 方法，遍历配置中心中所有 hystrix 开头的配置参数并返回保存。
2、定义配置刷新方式：
public class CustomCfgPollingScheduler extends AbstractPollingScheduler { private final static Logger logger = LoggerFactory.getLogger("CustomCfgPollingScheduler"); private final static String CONFIG_KEY_PREFIX = "hystrix"; @Override public void startPolling(PolledConfigurationSource source, final Configuration config) { super.startPolling(source, config); // ConfigManager.addListener(new ConfigListener() { @Override public void eventReceived(PropertyItem item, ChangeEventType type) { String name = item.getName(); if(name.startsWith(CONFIG_KEY_PREFIX)) { String newValue = item.getValue(); //新增&修改 if(ChangeEventType.ITEM_ADDED.equals(type) || ChangeEventType.ITEM_UPDATED.equals(type)) { addOrChangeProperty(name, newValue, config); } //删除 else if(ChangeEventType.ITEM_REMOVED.equals(type)) { deleteProperty(name, config); } else { logger.error("error config change event type {}.", type); } } } }); } private void addOrChangeProperty(String name, Object newValue, final Configuration config) { if (!config.containsKey(name)) { config.addProperty(name, newValue); } else { Object oldValue = config.getProperty(name); if (newValue != null) { if (!newValue.equals(oldValue)) { config.setProperty(name, newValue); } } else if (oldValue != null) { config.setProperty(name, null); } } } private void deleteProperty(String key, final Configuration config) { if (config.containsKey(key)) { config.clearProperty(key); } } @Override protected void schedule(Runnable pollingRunnable) { //IGNORE OPERATION } @Override public void stop() { //IGNORE OPERATION }}
复制代码
AbstractPollingScheduler 类默认要求是定义一个定时任务实现定时刷新配置，而其方法 schedule 和 stop 方法就是分别对应启动定时任务和结束任务。
但对应实际项目，通过定时刷新的方式一是不太实时，二是每次都得全量检查配置中心是否有修改，逻辑复杂，所以此处改用 ConfigManager.addListener 增加配置中心监听来实现。
3、定义并初始化自动配置：
DynamicConfiguration dynamicConfiguration = new DynamicConfiguration(new CustomCfgConfigurationSource(), new CustomCfgPollingScheduler());ConfigurationManager.install(dynamicConfiguration);
复制代码
最后只需要在容器启动时执行以上初始化脚本即可。
细心的同学可能发现上面步骤中第 3 步，最终“安装”install 到 Hystrix 配置管理类中的是 DynamicConfiguration 类实现，且第 2 步的定时刷新类也比较鸡肋，就想着能否继续简化上面方案，只需要实现一个自定义的"DynamicConfiguration"就包含配置源获取与监听配置修改功能，实现如下：
public class CustomCfgDynamicConfiguration extends ConcurrentMapConfiguration { private final static Logger logger = LoggerFactory.getLogger("CustomCfgDynamicConfiguration"); private final static String CONFIG_KEY_PREFIX = "hystrix"; public CustomCfgDynamicConfiguration() { super(); load(); initEvent(); } /** * 从配置中心全量加载Hystrix配置参数信息 */ private void load() { Set<String> keys = ConfigManager.keys(); for(String key : keys) { if(key.startsWith(CONFIG_KEY_PREFIX)) { map.put(key, ConfigManager.get(key)); } } } /** * 通过配置中心监听事件回调处理，针对Hystrix配置参数变更进行同步 */ private void initEvent() { ConfigManager.addListener(new ConfigListener() { @Override public void eventReceived(PropertyItem item, ChangeEventType type) { String name = item.getName(); if(name.startsWith(CONFIG_KEY_PREFIX)) { String newValue = item.getValue(); //新增&修改 if(ChangeEventType.ITEM_ADDED.equals(type) || ChangeEventType.ITEM_UPDATED.equals(type)) { addOrChangeProperty(name, newValue); } //删除 else if(ChangeEventType.ITEM_REMOVED.equals(type)) { deleteProperty(name); } else { logger.error("error config change event type {}.", type); } } } }); } /** * 新增或修改参数值 * @param name * @param newValue */ private void addOrChangeProperty(String name, Object newValue) { if (!this.containsKey(name)) { this.addProperty(name, newValue); } else { Object oldValue = this.getProperty(name); if (newValue != null) { if (!newValue.equals(oldValue)) { this.setProperty(name, newValue); } } else if (oldValue != null) { this.setProperty(name, null); } } } /** * 删除参数值 * @param key */ private void deleteProperty(String key) { if (this.containsKey(key)) { this.clearProperty(key); } }}
复制代码
最后通过 ConfigurationManager.install(new CustomCfgDynamicConfiguration());“安装”该实现即可。
三、写在最后
笔者结合项目实战对 Hystrix 使用进行总结分享，有关于隔离策略、线程池设置、参数优先级等知识点讲解，也有关于注解叠加、异常处理、参数动态配置等具体问题解决方案，希望对大家有所帮助。
作者：vivo 官网商城开发团队
评论