线程池处理批量接口请求实践

FunTester

关注

发布于: 刚刚

在工作中常常遇到需要批量请求接口的场景，比如重置几千个测试账号的密码、给测试账号造一些数据等等场景，都需求进行大量操作。之前采取的单线程串行执行方式，耗时比较长，某次遇到了巨量的数据，故而产生了优化方案。

主要思路分成两种：1.使用 Java NIO 的 HTTP 异步请求；2.使用线程池并发执行请求。

最终采用了 2 方案，原因如下：

项目框架中已经默认了同步 HTTPclient，兼容异步 client 改造成本较高
方案 1 难以控制单位时间请求量，会导致服务压力陡增

参考文章：

思路

总体思路就是使用定长线程池，然后每次把需要执行的任务包装成一个java.lang.Runnable实现类。

控制压力：使用定长线程池的线程数
线程同步：使用java.util.concurrent.CountDownLatch或者java.util.concurrent.Phaser进行多线程任务同步，最终关闭线程池

参考文章：

实现

这里分享一下java.util.concurrent.CountDownLatch或者java.util.concurrent.Phaser两种同步类的使用。

java.util.concurrent.CountDownLatch

class MocoReset extends OBase {
    public static void main(String[] args) {        def keys = DataUtils.getMocoTokens()        ExecutorService pool = ThreadPoolUtil.createFixedPool(10); //创建定长线程池        CountDownLatch latch = new CountDownLatch(keys.size()); //创建同步对象        keys.each {            def base = getBase(it)            def balance = new Balance(base)            pool.execute(() -> {                balance.reset()                latch.countDown()            })        }        latch.await()        pool.shutdown()    }

}

复制代码

java.util.concurrent.Phaser

class MocoReset extends Base {
    public static void main(String[] args) {        def keys = DataUtils.getMocoTokens()        ExecutorService pool = ThreadPoolUtil.createFixedPool(10); //创建定长线程池        def phaser = new Phaser(1)        keys.each {            def base = getBase(it)            def balance = new Balance(base)            pool.execute(() -> {                phaser.register()                balance.reset()                phaser.arriveAndDeregister()            })        }        phaser.arriveAndAwaitAdvance()        pool.shutdown()    }

}

复制代码

总结

多线程编程在测试中使用还是非常犀利的，我自己尝试了一下，线程稳定在 10-20 是比较安全的。理论计算，效率提高 10 倍-20 倍。

Have Fun ~ Tester ！

发布于: 刚刚阅读数: 2

原文链接:【http://xie.infoq.cn/article/9a98b18523b3804a54b8be374】。文章转载请联系作者。

FunTester

关注

公众号：FunTester，650+原创，欢迎关注 2020.10.20 加入

Have Fun,Tester！公众号FunTester，坚持原创文章的测试人。 FunTester测试框架作者，DCS_FunTester分布式性能测试框架作者。

发布

暂无评论

创作场景

线程池处理批量接口请求实践

思路

实现

java.util.concurrent.CountDownLatch

java.util.concurrent.Phaser

总结

Have Fun ~ Tester ！

FunTester

评论