写点什么

☕【Java 技术指南】教你如何使用【精巧好用】的 DelayQueue(延时队列)

发布于: 4 小时前
☕【Java技术指南】教你如何使用【精巧好用】的DelayQueue(延时队列)

延时队列前提

  1. 定时关闭空闲连接:服务器中,有很多客户端的连接,空闲一段时间之后需要关闭之。

  2. 定时清除额外缓存:缓存中的对象,超过了空闲时间,需要从缓存中移出。

  3. 实现任务超时处理:在网络协议滑动窗口请求应答式交互时,处理超时未响应的请求。

  4. 应用在 session 超时管理:网络应答通讯协议的请求超时处理。

痛点方案机制

  • 一种比较暴力的办法就是,使用一个后台线程,遍历所有对象,挨个检查。这种笨笨的办法简单好用,但是对象数量过多时,可能存在性能问题,检查间隔时间不好设置,间隔时间过大,影响精确度,多小则存在效率问题。

  • 而且做不到按超时的时间顺序处理。 这场景,使用 DelayQueue 最适合了。


DelayQueue 是 java.util.concurrent 中提供的一个很有意思的类。很巧妙,非常棒!但是 java doc 和 Java SE 5.0 的 source 中都没有 Sample。我最初在阅读 ScheduledThreadPoolExecutor 源码时,发现 DelayQueue 的妙用。


本文将会对 DelayQueue 做一个介绍,然后列举应用场景。并且提供一个 Delayed 接口的实现和 Sample 代码。


  • DelayQueue 是一个 BlockingQueue,其特化的参数是 Delayed。

  • Delayed 扩展了 Comparable 接口,比较的基准为延时的时间值,Delayed 接口的实现类 getDelay 的返回值应为固定值(final)。

  • DelayQueue 内部是使用 PriorityQueue 实现的。

  • DelayQueue = BlockingQueue + PriorityQueue + Delayed


DelayQueue 的关键元素 BlockingQueue、PriorityQueue、Delayed。可以这么说,DelayQueue 是一个使用优先队列(PriorityQueue)实现的 BlockingQueue,优先队列的比较基准值是时间。

基本定义如下

public interface Comparable<T> {    public int compareTo(T o);}
public interface Delayed extends Comparable<Delayed> { long getDelay(TimeUnit unit);}
public class DelayQueue<E extends Delayed> implements BlockingQueue<E> { private final PriorityQueue<E> q = new PriorityQueue<E>();}
复制代码


DelayQueue 内部的实现使用了一个优先队列。当调用 DelayQueue 的 offer 方法时,把 Delayed 对象加入到优先队列 q 中。如下:


public boolean offer(E e) {    final ReentrantLock lock = this.lock;    lock.lock();    try {        E first = q.peek();        q.offer(e);        if (first == null || e.compareTo(first) < 0)            available.signalAll();        return true;    } finally {        lock.unlock();    }}
复制代码


DelayQueue 的 take 方法,把优先队列 q 的 first 拿出来(peek),如果没有达到延时阀值,则进行 await 处理。如下:


public E take() throws InterruptedException {    final ReentrantLock lock = this.lock;    lock.lockInterruptibly();    try {        for (;;) {            E first = q.peek();            if (first == null) {                available.await();            } else {                long delay =  first.getDelay(TimeUnit.NANOSECONDS);                if (delay > 0) {                    long tl = available.awaitNanos(delay);                } else {                    E x = q.poll();                    assert x != null;                    if (q.size() != 0)                        available.signalAll(); // wake up other takers                    return x;                }            }        }    } finally {        lock.unlock();    }}
复制代码




以下是 Sample,是一个缓存的简单实现。共包括三个类 Pair、DelayItem、Cache。如下:


public class Pair<K, V> {    public K first;    public V second;    public Pair() {}    public Pair(K first, V second) {        this.first = first;        this.second = second;    }}
复制代码




import java.util.concurrent.Delayed;import java.util.concurrent.TimeUnit;import java.util.concurrent.atomic.AtomicLong;
public class DelayItem<T> implements Delayed {
/** Base of nanosecond timings, to avoid wrapping */ private static final long NANO_ORIGIN = System.nanoTime();
/** * Returns nanosecond time offset by origin */ final static long now() { return System.nanoTime() - NANO_ORIGIN; } /** * Sequence number to break scheduling ties, and in turn to guarantee FIFO order among tied * entries. */ private static final AtomicLong sequencer = new AtomicLong(0);
/** Sequence number to break ties FIFO */ private final long sequenceNumber;
/** The time the task is enabled to execute in nanoTime units */ private final long time;
private final T item;
public DelayItem(T submit, long timeout) { this.time = now() + timeout; this.item = submit; this.sequenceNumber = sequencer.getAndIncrement(); }
public T getItem() { return this.item; }
public long getDelay(TimeUnit unit) { long d = unit.convert(time - now(), TimeUnit.NANOSECONDS); return d; }
public int compareTo(Delayed other) { if (other == this) // compare zero ONLY if same object return 0; if (other instanceof DelayItem) { DelayItem x = (DelayItem) other; long diff = time - x.time; if (diff < 0) return -1; else if (diff > 0) return 1; else if (sequenceNumber < x.sequenceNumber) return -1; else return 1; } long d = (getDelay(TimeUnit.NANOSECONDS) - other.getDelay(TimeUnit.NANOSECONDS)); return (d == 0) ? 0 : ((d < 0) ? -1 : 1); }}
复制代码


以下是 Cache 的实现,包括了 put 和 get 方法,还包括了可执行的 main 函数。


import java.util.concurrent.ConcurrentHashMap;import java.util.concurrent.ConcurrentMap;import java.util.concurrent.DelayQueue;import java.util.concurrent.TimeUnit;import java.util.logging.Level;import java.util.logging.Logger;public class Cache<K, V> { private static final Logger LOG = Logger.getLogger(Cache.class.getName());    private ConcurrentMap<K, V> cacheObjMap = new ConcurrentHashMap<K, V>();    private DelayQueue<DelayItem<Pair<K, V>>> q = new DelayQueue<DelayItem<Pair<K, V>>>();    private Thread daemonThread;    public Cache() {        Runnable daemonTask = new Runnable() {            public void run() {                daemonCheck();            }        };        daemonThread = new Thread(daemonTask);        daemonThread.setDaemon(true);        daemonThread.setName("Cache Daemon");        daemonThread.start();    }
private void daemonCheck() { if (LOG.isLoggable(Level.INFO)) LOG.info("cache service started."); for (;;) { try { DelayItem<Pair<K, V>> delayItem = q.take(); if (delayItem != null) { // 超时对象处理 Pair<K, V> pair = delayItem.getItem(); cacheObjMap.remove(pair.first, pair.second); // compare and remove } } catch (InterruptedException e) { if (LOG.isLoggable(Level.SEVERE)) LOG.log(Level.SEVERE, e.getMessage(), e); break; } } if (LOG.isLoggable(Level.INFO)) LOG.info("cache service stopped."); }
// 添加缓存对象 public void put(K key, V value, long time, TimeUnit unit) { V oldValue = cacheObjMap.put(key, value); if (oldValue != null) q.remove(key); long nanoTime = TimeUnit.NANOSECONDS.convert(time, unit); q.put(new DelayItem<Pair<K, V>>(new Pair<K, V>(key, value), nanoTime)); }
public V get(K key) { return cacheObjMap.get(key); }
// 测试入口函数 public static void main(String[] args) throws Exception { Cache<Integer, String> cache = new Cache<Integer, String>(); cache.put(1, "aaaa", 3, TimeUnit.SECONDS); Thread.sleep(1000 * 2); { String str = cache.get(1); System.out.println(str); } Thread.sleep(1000 * 2); { String str = cache.get(1); System.out.println(str); } }}
复制代码


运行 Sample,main 函数执行的结果是输出两行,第一行为 aaa,第二行为 null。

延时队列参数配置热刷新

配置中心勿喷,场景不一样


  • 缓存延时队列的信息都存在配置文件中,比如缓存数量配置、延时超时时间,事件的超时时间等等。当需要该这些配置的值时都需要重新启动进程,改动的配置才会生效,有时候线上的应用不能容忍这种停服。

  • Apache Common Configuration 给我们提供了可以检测文件修改后配置可短时间生效的功能。具体用法如下:


import org.apache.commons.configuration.ConfigurationException;import org.apache.commons.configuration.PropertiesConfiguration;import org.apache.commons.configuration.reloading.FileChangedReloadingStrategy;import org.apache.log4j.Logger;
public class SystemConfig { private static Logger logger = Logger.getLogger(SystemConfig.class); private static PropertiesConfiguration config; static { try { //实例化一个PropertiesConfiguration config = new PropertiesConfiguration("/Users/hzwangxx/ IdeaProjects/app-test/src/main/resources/conf.properties"); //设置reload策略,这里用当文件被修改之后reload(默认5s中检测一次) config.setReloadingStrategy(new FileChangedReloadingStrategy()); } catch (ConfigurationException e) { logger.error("init static block error. ", e); } }
public static synchronized String getProperty(String key) { return (String) config.getProperty(key); }
public static void main(String[] args) throws InterruptedException { for (;;) { System.out.println(SystemConfig.getProperty("key")); Thread.sleep(2000); } }}
复制代码


发布于: 4 小时前阅读数: 3
用户头像

🏆2021年InfoQ写作平台-签约作者 🏆 2020.03.25 加入

👑【酷爱计算机技术、醉心开发编程、喜爱健身运动、热衷悬疑推理的”极客狂人“】 🏅 【Java技术领域,MySQL技术领域,APM全链路追踪技术及微服务、分布式方向的技术体系等】 我们始于迷惘,终于更高水平的迷惘

评论

发布
暂无评论
☕【Java技术指南】教你如何使用【精巧好用】的DelayQueue(延时队列)