Tomcat 性能调优
线程池调优指的是给 Tomcat 的线程池设置合适的参数,使得 Tomcat 能够又快又好地处理请求
====================================================================
I/O 调优实际上是连接器类型的选择,一般情况下默认都是 NIO,在绝大多数情况下都是够用的。
除非你的 Web 应用用到了 TLS 加密传输,而且对性能要求极高,这个时候可以考虑 APR,因为 APR 通过 OpenSSL 来处理 TLS 握手和加/解密。OpenSSL 本身用 C 语言实现,它还对 TLS 通信做了优化,所以性能比 Java 高。
若你的 Tomcat 跑在 Windows,且 HTTP 请求的数据量较大,可考虑 NIO.2。因为 Windows 从 os 实现了真正的异步 I/O,若传输数据量较大,异步 I/O 效果就能显露出来。
若 Tomcat 在 Linux,建议 NIO,Linux 内核没有完善支持异步 I/O,因此 JVM 也没有采用原生的 Linux 异步 I/O,而是在应用层面通过 epoll 模拟异步 I/O 模型,只是 Java NIO 的使用者感觉不到。
因此在 Linux,Java NIO 和 Java NIO.2 底层其实都是通过 epoll 实现,
但 Java NIO 更简单高效。
====================================================================
跟 I/O 模型紧密相关的是线程池,线程池的调优就是设置合理的线程池参数。
Tomcat 线程池的关键参数:
如何确定 maxThreads:
若该参数设置小了
Tomcat 会发生线程饥饿,并且请求的处理会在队列中排队等待,导致响应时间变长
若过大
因为服务器的 CPU 的核数有限,线程数太多会导致线程在 CPU 上来回切换,耗费大量的切换开销。
maxThreads 多少合适呢?
====================================================================
系统中的请求数 = 请求的到达速率 × 每个请求处理时间
去超市结账排队,如何估算一个队列有多长呢?
队列中如果每个人都买很多东西,那么结账的时间就越长,队列也会越长
短时间一下有很多人来收银台结账,队列也会变长
因此队列的长度等于 新人加入队列的频率 乘以 平均每个人处理的时间。
计算出了队列的长度,就创建相应数量线程处理请求,这样既能以最快速度处理完所有请求,同时又没有额外的线程资源闲置和浪费。
假设一个单核服务器在接收请求:
如果每秒 10 个请求到达,平均处理一个请求需要 1 秒,那么服务器任何时候都有 10 个请求在处理,即需要 10 个线程
如果每秒 10 个请求到达,平均处理一个请求需要 2 秒,那么服务器在每个时刻都有 20 个请求在处理,因此需要 20 个线程
如果每秒 10000 个请求到达,平均处理一个请求需要 1 秒,那么服务器在每个时刻都有 10000 个请求在处理,因此需要 10000 个线程。
因此可以总结出一个公式:
线程池大小 = 每秒请求数 × 平均请求处理时间
理想情况,线程一直在忙着干活,没有被阻塞在 I/O 等待。
实际上任务在执行中,线程不可避免会发生阻塞,比如阻塞在 I/O 等待上,等待 DB 或下游服务响应,虽然通过非阻塞 I/O 模型可减少线程的等待,但是数据在用户空间和内核空间拷贝过程中,线程还是阻塞。
线程一阻塞就会让出 CPU,线程闲置下来,就好像工作人员不可能 24h 处理请求,解决办法就是增加工作人员数量,一个人去休息另一个人顶上。即增加线程数,因此 I/O 密集型应用需要设置更多的线程。
============================================================================
至此我们又得到一个线程池个数的计算公式,假设服务器是单核:
线程池大小 = (线程 I/O 阻塞时间 + 线程 CPU 时间 )/ 线程 CPU 时间
线程 I/O 阻塞时间 + 线程 CPU 时间 = 平均请求处理时间
评论