写点什么

Zookeeper 客户端错误:Packet len8854970 is out of range!

用户头像
看山
关注
发布于: 刚刚
Zookeeper 客户端错误:Packet len8854970 is out of range!

你好,我是看山。


这是一个生产环境使用 zookeeper 异常的情况,错误是java.io.IOException: Packet len8854970 is out of range!

1 发现问题

问题的发现比较曲折,首先是发现服务器磁盘写满了(吐槽下运维居然没有对磁盘添加监控),致使项目中的报警功能失效。然后就把无用日志删除,习(tou)惯(lan)的把异常的应用重启了下。幸好有个比较好的习惯就是,项目启动成功后,都会打看日志跟踪下,确定无误才会关掉终端。结果就被错误日志刷屏了:


ERROR 2017-02-20 10:45:44,729 [Curator-Framework-0] o.a.c.f.i.CuratorFrameworkImpl.logError() (CuratorFrameworkImpl.java:557) - Background retry gave uporg.apache.curator.CuratorConnectionLossException: KeeperErrorCode = ConnectionLoss        at org.apache.curator.framework.imps.CuratorFrameworkImpl.performBackgroundOperation(CuratorFrameworkImpl.java:838) [curator-framework-2.10.0.jar:na]        at org.apache.curator.framework.imps.CuratorFrameworkImpl.backgroundOperationsLoop(CuratorFrameworkImpl.java:809) [curator-framework-2.10.0.jar:na]        at org.apache.curator.framework.imps.CuratorFrameworkImpl.access$300(CuratorFrameworkImpl.java:64) [curator-framework-2.10.0.jar:na]        at org.apache.curator.framework.imps.CuratorFrameworkImpl$4.call(CuratorFrameworkImpl.java:267) [curator-framework-2.10.0.jar:na]        at java.util.concurrent.FutureTask.run(FutureTask.java:266) [na:1.8.0_111]        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) [na:1.8.0_111]        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) [na:1.8.0_111]        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [na:1.8.0_111]        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [na:1.8.0_111]        at java.lang.Thread.run(Thread.java:745) [na:1.8.0_111]
复制代码


因为 zookeeper 的客户端使用的是 Apache Curator,与 zookeeper 的连接断开会重新创建连接,所以会出现大量的连接失败异常。

2 分析问题

在这个项目中,对于 zookeepr 的使用有下面几种场景:


  1. 服务状态数据:将服务状态写入 znode 节点

  2. 服务注册:将服务地址写入 znode 节点

  3. 服务发现:获取 znode 节点中的可用服务地址

  4. 监听节点:监听某个 znode 节点或该节点的字节点状态


这几种情况都需要与 zookeeper 的 znode 节点创建连接,然后执行操作。根据错误提示,java.io.IOException: Packet len8854970 is out of range!,out of range 就是超过了某个限制,只能查看代码了。


protected final ByteBuffer lenBuffer = ByteBuffer.allocateDirect(4);protected ByteBuffer incomingBuffer = lenBuffer;
protected void readLength() throws IOException { int len = incomingBuffer.getInt(); if (len < 0 || len >= ClientCnxn.packetLen) { throw new IOException("Packet len" + len + " is out of range!"); } incomingBuffer = ByteBuffer.allocate(len);}
public static final int packetLen = Integer.getInteger("jute.maxbuffer", 4096 * 1024);
复制代码


从代码就能够很容易的看出,这个错误是因为len小于 0 或大于packetLen,根据代码逻辑,len不小于 0,那就是大于packetLen。而packetLen的值是jute.maxbuffer系统变量定义或默认的 4096 * 1024(4M)。


继续深扒代码,因为代码比较长,这里就不写了。大体逻辑就是,创建与 zookeeper 连接之后,要对某个节点进行读写操作,为了提高吞吐量,先判断下该节点数据量大小是否超过设置的jute.maxbuffer,如果是,就抛出异常。在 zookeeper 客户端中,这一部分异常的处理比较粗糙,因为注释上也写着“this is ugly, you have a better way speak up”。

3 解决问题

根据上面的纠错,答案就很明显了。只有两种方案:


  • 把待操作节点的大小减下来,小于默认的 4M

  • 把默认的jute.maxbuffer大小提高


对于第一种方式,需要根据自身具体情况具体操作。这里没有什么有效建议。


对于第二种方式,就比较简单了。只要在创建 Zookeeper 对象之前,设置System.setProperty("jute.maxbuffer", 4096 * 1024 * 10 + "");,这里的大小根据自己的系统设置,我这里只是一个测试值(如果设置太大,这个节点真的比较大的话,会影响吞吐)。


因为我这里使用的是 Apache Curator,不需要自己创建 Zookeeper 对象,所以需要在创建 CuratorFramework 对象之前添加这个变量。


解决问题要彻底,不能留下祸患。(此处应该伴随阴笑和冷风。)


java 客户端的问题解决了,但是通过 zkCli.sh 连接时,还是会出现这个问题。报错如下:


2017-02-20 12:08:03,999 [myid:] - WARN  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1102] - Session 0x1591b713cefd2b3 for server localhost/127.0.0.1:2181, unexpected error, closing socket connection and attempting reconnectjava.io.IOException: Packet len8854970 is out of range!  at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:112)  at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:79)  at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366)  at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)
WATCHER::
WatchedEvent state:Disconnected type:None path:nullException in thread "main" org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /it-monitor/com/wfj/monitor/sales-overview-info at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) at org.apache.zookeeper.KeeperException.create(KeeperException.java:51) at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1472) at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1500) at org.apache.zookeeper.ZKUtil.listSubTreeBFS(ZKUtil.java:114) at org.apache.zookeeper.ZKUtil.deleteRecursive(ZKUtil.java:49) at org.apache.zookeeper.ZooKeeperMain.processZKCmd(ZooKeeperMain.java:703) at org.apache.zookeeper.ZooKeeperMain.processCmd(ZooKeeperMain.java:588) at org.apache.zookeeper.ZooKeeperMain.executeLine(ZooKeeperMain.java:360) at org.apache.zookeeper.ZooKeeperMain.run(ZooKeeperMain.java:323) at org.apache.zookeeper.ZooKeeperMain.main(ZooKeeperMain.java:282)
复制代码


找到 zkCli.sh,最下面的 java 命令中添加对jute.maxbuffer的定义(使用 D 参数):


"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \     "-Djute.maxbuffer=41943040" \     -cp "$CLASSPATH" $CLIENT_JVMFLAGS $JVMFLAGS \     org.apache.zookeeper.ZooKeeperMain "$@"
复制代码


当然,为了运维方便,可以把jute.maxbuffer的值设置成变量,通过修改配置来设置值。避免因为修改 sh 脚本出现其他问题。


你好,我是看山。游于码界,戏享人生。如果文章对您有帮助,请点赞、收藏、关注。


👇🏻欢迎关注我的公众号「看山的小屋」,领取精选资料👇🏻


发布于: 刚刚阅读数: 2
用户头像

看山

关注

公众号「看山的小屋」 2017.10.26 加入

游于码界,戏享人生。 未来不迎,当时不杂,既过不恋。

评论

发布
暂无评论
Zookeeper 客户端错误:Packet len8854970 is out of range!