Java 序列化 10 倍性能优化对比测试

2022 年 9 月 09 日
北京
本文字数：4554 字
阅读完需：约 15 分钟

今天分享 Java 对象序列化的不同方法，并对不同序列化方式的性能进行基准测试。

关于持久队列来讲，必须将 Java 堆内存的对象转换成文件中的二进制数据，对象序列化的性能将显著影响整体的性能表现。相当多的高性能框架都会在序列化和反序列化上下功夫优化性能。本文使用了开源框架 Chronicle Queue 提供的能力进行序列化和反序列化对比测试。

数据传输对象

在本文中，我用一个对象类 FunData，作为 Data Transfer Object（以下简称 DTO）的数据传输对象，其中包含具有较多字段的信息。相同的原则适用于任何其他业务领域的其他 DTO。

abstract class FunData  extends SelfDescribingMarshallable {
    long securityId;
    long time;
    double bidQty0, bidQty1, bidQty2, bidQty3;
    double askQty0, askQty1, askQty2, askQty3;
    double bidPrice0, bidPrice1, bidPrice2, bidPrice3;
    double askPrice0, askPrice1, askPrice2, askPrice3;
}

复制代码

默认序列化

Java 的 Serializable 标记接口提供了一种将 Java 对象序列化为二进制格式的默认方法，通常通过 ObjectOutputStream 和 ObjectInputStream 类。默认方式（即 writeObject()和 readObject()显式声明）需要反映对象字段并逐个读取/写入它们，这可能是一项比较消耗性能的操作。

Chronicle Queue 可以处理 Serializable 对象，但也提供了一种类似但更快、更节省空间的方法来通过抽象类序列化数据 SelfDescribingMarshallable。与 Serializable 对象类似，这依赖于反射，但在 CPU 性能和垃圾方面的开销要少得多。

默认序列化通常包括以下步骤：

使用反射识别非瞬态场
使用反射读取/写入已识别的字段值
将字段值写入/读取为目标格式（例如二进制格式）

字段的关系可以被缓存，这样可以进一步提高性能。

这是使用默认序列化的类的示例：

public final class DefaultFunData extends FunData {}

可以看出，该类没有在其基类上添加任何内容，因此它将使用 SelfDescribingMarshallable 进行序列化和反序列化。

显式序列化

实现的类 Serializable 可以选择实现两个 private 方法，从而调用这些方法，而不是使用默认的序列化。

这提供了对序列化过程的完全控制，并允许使用自定义代码而不是通过反射来读取字段，这将提高性能。这种方法的一个缺点是，如果在类中添加了一个字段，那么必须在上面的两个 private 方法中添加相应的逻辑，否则新的字段将不参与序列化。

SelfDescribingMarshallable 以类似的方式工作，但谢天谢地，它不依赖于这两个私有方法方法和从外部调用私有方法。一个 SelfDescribingMarshallable 类提供了两种根本不同的序列化概念：一种通过中介 Chronicle Wire 开源（可以是二进制、文本、YAML、JSON 等）提供灵活性，另一种隐式二进制提供高性能（后面再分享）。

这是一个使用显式序列化的类的示例，其中显式声明了实现接口的公共方法：

public final class ExplicitFunData extends FunData {     @Override     public void readMarshallable(BytesIn bytes) {         securityId = bytes.readLong();         time = bytes.readLong();         bidQty0 = bytes.readDouble();         bidQty1 = bytes.readDouble();         bidQty2 = bytes.readDouble();         bidQty3 = bytes.readDouble();         askQty0 = bytes.readDouble();         askQty1 = bytes.readDouble();         askQty2 = bytes.readDouble();         askQty3 = bytes.readDouble();         bidPrice0 = bytes.readDouble();         bidPrice1 = bytes.readDouble();         bidPrice2 = bytes.readDouble();         bidPrice3 = bytes.readDouble();         askPrice0 = bytes.readDouble();         askPrice1 = bytes.readDouble();         askPrice2 = bytes.readDouble();         askPrice3 = bytes.readDouble();     }      @Override     public void writeMarshallable(BytesOut bytes) {         bytes.writeLong(securityId);         bytes.writeLong(time);         bytes.writeDouble(bidQty0);         bytes.writeDouble(bidQty1);         bytes.writeDouble(bidQty2);         bytes.writeDouble(bidQty3);         bytes.writeDouble(askQty0);         bytes.writeDouble(askQty1);         bytes.writeDouble(askQty2);         bytes.writeDouble(askQty3);         bytes.writeDouble(bidPrice0);         bytes.writeDouble(bidPrice1);         bytes.writeDouble(bidPrice2);         bytes.writeDouble(bidPrice3);         bytes.writeDouble(askPrice0);         bytes.writeDouble(askPrice1);         bytes.writeDouble(askPrice2);         bytes.writeDouble(askPrice3);     } }

复制代码

可以得出结论，该方案依赖于显式和直接地读取或写入每个字段，无需诉诸较慢的反射执行。必须注意确保一致性顺序，避免出现问题。一旦类的字段有更新，必需修改这两个方法中所涉到的内容

拷贝不变（trivially copyable）

可以看出，FunData 上面的类只包含原始字段。换句话说，没有像 String,List 或类似的引用字段。这意味着当 JVM 在内存中布局字段时，字段值可以彼此相邻放置。Java 标准中未指定字段的布局方式，该标准允许单独的 JVM 实现优化。

许多方案会按字段大小降序对原始类字段进行排序，并依次排列它们。这样做的好处是可以在甚至原始类型边界上执行读取和写入操作。将此方案 ExplicitFunData 应用于示例将导致long time首先布局字段，并且假设我们的初始字段空间是 64 位对齐的，则允许在偶数 64 位边界上访问该字段。接下来，int securityId可能会布局，允许在偶数 32 位边界上访问它和所有其他 32 位字段。

想象一下，如果最初布局了初始 byte 字段，则必须在不均匀的字段边界上访问后续更大的字段。这会增加一些操作的性能开销，并且确实会阻止执行一小组操作（例如，ARM 体系结构上未对齐的 CAS 操作）。

事实证明，可以直接访问对象的字段内存区域，Unsafe 并使用 mem copy 在一次扫描中直接将字段复制到内存或内存映射文件。这有效地绕过了单独的字段访问，并在上面的示例中用单个批量操作替换了许多单独的字段访问。

要想实现以上的功能是一件非常麻烦的事情，我们可以在 Chronicle Queue、开源 Chronicle Bytes 和其他开箱即用的类似产品中很容易获得。

下面是一个使用可复制序列化的类的示例：

import static net.openhft.chronicle.bytes.BytesUtil.*;  public final class TriviallyCopyableFunData extends FunData {      static final int START = triviallyCopyableStart(TriviallyCopyableFunData.class);     static final int LENGTH = triviallyCopyableLength(TriviallyCopyableFunData.class);      @Override     public void readMarshallable(BytesIn bytes) {         bytes.unsafeReadObject(this, START, LENGTH);     }      @Override     public void writeMarshallable(BytesOut bytes) {         bytes.unsafeWriteObject(this, START, LENGTH);     }  }

复制代码

这种模式非常适合重用 DTO 的场景。从根本上说，它依赖于在幕后调用 Unsafe 以提高性能。

基准测试

这里使用 JMH，使用此类对上述各种序列化替代方案的序列化性能进行了评估：

@State(Scope.Benchmark) @BenchmarkMode(Mode.AverageTime) @OutputTimeUnit(NANOSECONDS) @Fork(value = 1, warmups = 1) @Warmup(iterations = 5, time = 200, timeUnit = MILLISECONDS) @Measurement(iterations = 5, time = 500, timeUnit = MILLISECONDS) public class BenchmarkRunner {      private final FunData defaultFunData = new DefaultFunData();     private final FunData explicitFunData = new ExplicitFunData();     private final FunData triviallyCopyableFunData = new TriviallyCopyableFunData();     private final Bytes<Void> toBytes = Bytes.allocateElasticDirect();     private final Bytes<Void> fromBytesDefault = Bytes.allocateElasticDirect();     private final Bytes<Void> fromBytesExplicit = Bytes.allocateElasticDirect();     private final Bytes<Void> fromBytesTriviallyCopyable = Bytes.allocateElasticDirect();      public BenchmarkRunner() {         defaultFunData.writeMarshallable(fromBytesDefault);         explicitFunData.writeMarshallable(fromBytesExplicit);         triviallyCopyableFunData.writeMarshallable(fromBytesTriviallyCopyable);     }      public static void main(String[] args) throws Exception {         org.openjdk.jmh.Main.main(args);     }      @Benchmark     public void defaultWrite() {         toBytes.writePosition(0);         defaultFunData.writeMarshallable(toBytes);     }      @Benchmark     public void defaultRead() {         fromBytesDefault.readPosition(0);         defaultFunData.readMarshallable(fromBytesDefault);     }      @Benchmark     public void explicitWrite() {         toBytes.writePosition(0);         explicitFunData.writeMarshallable(toBytes);     }      @Benchmark     public void explicitRead() {         fromBytesExplicit.readPosition(0);         explicitFunData.readMarshallable(fromBytesExplicit);     }      @Benchmark     public void trivialWrite() {         toBytes.writePosition(0);         triviallyCopyableFunData.writeMarshallable(toBytes);     }      @Benchmark     public void trivialRead() {         fromBytesTriviallyCopyable.readPosition(0);         triviallyCopyableFunData.readMarshallable(fromBytesTriviallyCopyable);     } }

复制代码

这在 JDK 1.8.0_312、2.3 GHz 8 核 Intel Core i9 CPU 的 MacBook Pro（16 英寸，2019 年）上产生了以下测试结果：

Benchmark                      Mode  Cnt   Score   Error  Units BenchmarkRunner.defaultRead    avgt    5  88.772 ± 1.766  ns/op BenchmarkRunner.defaultWrite   avgt    5  90.679 ± 2.923  ns/op BenchmarkRunner.explicitRead   avgt    5  32.419 ± 2.673  ns/op BenchmarkRunner.explicitWrite  avgt    5  38.048 ± 0.778  ns/op BenchmarkRunner.trivialRead    avgt    5   7.437 ± 0.339  ns/op BenchmarkRunner.trivialWrite   avgt    5   7.911 ± 0.431  ns/op