如何解决 JDBC 死链接导致 NIFI 线程假死

现象

ExcuteSql 不工作不调度，stop 也停止不了，active 的任务个数也不降低。

场景复现

1. 模仿现场构造数据

2. Tc 命令模拟现场网络环境模拟丢包 30%

tc qdisc del  dev enp4s0f0  root netem loss 30%

问题排查

netstat -pan | grep $NIFI_PID

可以看到和数据库开启了 5 个 tcp 连接，也可以看到有五个 socket 处于连接状态

直接看线程

jstack -l $NIFI_PID | grep 'java.net.SocketInputStream.socketRead0(Native Method)' -C 10

观察了一段时间，socket 仍然没有关闭，可以基本肯定现场环境应该已经复现。

问题分析

一次完整的数据库请求包括三个阶段：1、建立连接 2、数据传输 3、断开连接

connect timeout:如果与服务器(这里指数据库)请求建立连接的时间超过 ConnectionTimeOut，就会抛 ConnectionTimeOutException，即服务器连接超时，没有在规定的时间内建立连接。

socket timeout:如果与服务器连接成功，就开始数据传输了。如果服务器处理数据用时过长，超过了 SocketTimeOut，就会抛出 SocketTimeOutExceptin，即服务器响应超时，服务器没有在规定的时间内返回给客户端数据。

在未设置超时时间场景下，nifi 通过 jdbc 获取数据库数据，本质是操作系统在调用 Socket.read()，如果网络问题被阻塞住，java培训那么操作系统会很少在调用 Socket，由于底层没有数据交互，那么其无法知道对端是否宕机，所以会一直等待。

难道系统没有默认的 socketTimeout？

有的，上述场景下内核会在一个 socket 两个小时都没有数据交互情况下(可设置)启动 keepalive 定时器来探测对端的 socket。如下图所示:

也就是说出现假死会在 7875 秒后恢复，大概两个多小时吧。

这就是 nifi 端线程假死的原因；

结论

JDBC 的 socket 未设置超时，出现了死连接。

JDBC 驱动是用 Socket 方式与数据库连接的，应用程序和数据库之间的连接超时并不是由数据库处理的。

当数据库突然宕掉或发生网络错误（设备故障等）时，JDBC 驱动的 Socket 超时的值是必须的。由于 TCP/IP 的结构，Socket 没有办法检测到网络错误，因此应用不能检测到与数据库到连接断开了。如果没有设置 Socket 超时，应用程序会一直等待数据库返回结果。（这个连接也被叫做“死连接”） 为了避免死连接，Socket 必须要设置超时时间。Socket 超时可以通过 JDBC 驱动程序配置。通过设置 Socket 超时，可以防止出现网络错误时一直等待的情况并缩短故障时间。

设置 socketTimeout 好处如下图：

在 timeout 为 0 的时候，走默认的系统调用不设置超时时间的逻辑。在 timeout>0 时，将 socket 设置为非阻塞，然后用 select 系统调用去模拟超时,而没有走 linux 本身的超时逻辑。

解决措施

设置 socket 和 Connection 的超时时间。

防止因为网络问题出现死连接，给数据库的访问 url 加 socket timeout 和 Connection timeout。