写点什么

序列化与反序列化之 Protostuff(一)

发布于: 2 小时前
序列化与反序列化之Protostuff(一)

一 序列化与反序列化

在大型开发中,序列化与反序列化是一个常见的技术点和问题。在之前我们对序列化与反序列化有过相关描述,但并不系统,更偏重于原理介绍。这里,我们讲详细介绍序列化与反序列化的更多场景和应用实践。

二 概念回顾

当两个进程在进行远程通信时,彼此可以发送各种类型的数据。无论是何种类型的数据,都会以二进制序列的形式在网络上传送。发送方需要把这个 Java 对象转换为字节序列,才能在网络上传送;接收方则需要把字节序列再恢复为 Java 对象。

把 Java 对象转换为字节序列的过程称为对象的序列化

把字节序列恢复为 Java 对象的过程称为对象的反序列化

三 技术方案

3.1 google 的 protobuffer

早期 google 原生的 protobuffer 使用起来相当麻烦,首先要写.proto 文件,然后编译.proto 文件,生成对应的.java 文件,过程较为繁琐。不过目前随着 protobuf-java 等 jar 包的提供,使用也简化了很多。github 地址:https://github.com/topics/protobuffer

3.2 Java 的序列化与反序列化

根据 Thinking in java 3rd Edition 的描述:

利用对象序列化可以实现“轻量级持久化”(lightweight persistence)。“持久化”意味着一个对象的生存周期并不取决于程序是否正在执行;它可以生存于程序的调用之间。通过将一个序列化对象写入磁盘,然后在重新调用时恢复该对象,就能够实现持久化的效果。之所以称其为“轻量级”,是因为不能用某种“persistent”(持久)关键字来简单地定义一个对象,并让系统自动维护其他细节问题(尽管将来有可能实现)。相反,对象必须在程序中显式地序列化和重组。如果需要一个更严格的持久化机制,可以考虑使用 Java 数据对象(JDO)或者像 Hibernate 之类的工具。

对象序列化的概念加入到语言中是为了提供对两种主要特性的支持:

·Java 的“远程方法调用”(RMI,Remote Method Invocation)使存活于其他计算机上的对象使用起来就像是存活于本机上一样。当向远程对象发送消息时,需要通过对象序列化来传输参数和返回值。

·对 Java Beans 来说对象序列化也是必需的。使用一个 Bean 时,一般情况下是在设计阶段对它的状态信息进行配置。这种状态信息必须保存下来,并在程序启动以后,进行恢复;具体工作由对象序列化完成。

3.3 io.protostuff

这是最近在项目中使用到的一个框架,本篇也将先详细描述相关的使用案例,作为本系列的开篇。

四 使用示例

4.1 引入 maven 依赖

使用的是 1.5.3 版本:

<dependency>    <groupId>io.protostuff</groupId>    <artifactId>protostuff-runtime</artifactId>    <version>1.5.3</version></dependency><dependency>    <groupId>io.protostuff</groupId>    <artifactId>protostuff-core</artifactId>    <version>1.5.3</version></dependency>
复制代码

4.2 定义实体类

4.2.1 ProtoBufEntity

package com.flamingskys.toolbox.tool.protobuf.entity;
import lombok.Data;
@Datapublic class ProtoBufEntity { private String name; private int age; private String label;
public ProtoBufEntity(){
}
public ProtoBufEntity(String name, Integer age){ this.name = name; this.age = age; }}
复制代码

4.2.2 GroupEntity

这是一个嵌套实体类,包含了上面的 ProtoBufEntity:

package com.flamingskys.toolbox.tool.protobuf.entity;
import lombok.Data;
import java.util.List;
@Datapublic class GroupEntity { private String id;
private String name;
private List<ProtoBufEntity> entities;
public GroupEntity(String id, String name, List<ProtoBufEntity> entities) { this.id = id; this.name = name; this.entities = entities; }}
复制代码

4.2.3 应用类 ProtoStuffUtils

package com.flamingskys.toolbox.tool.protobuf;
import com.flamingskys.toolbox.tool.protobuf.entity.GroupEntity;import com.flamingskys.toolbox.tool.protobuf.entity.ProtoBufEntity;import io.protostuff.LinkedBuffer;import io.protostuff.ProtostuffIOUtil;import io.protostuff.Schema;import io.protostuff.runtime.RuntimeSchema;
import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.concurrent.ConcurrentHashMap;
public class ProtoStuffUtils { /** * 避免每次序列化都重新申请Buffer空间 */ private static LinkedBuffer buffer = LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE); /** * 缓存Schema */ private static Map<Class<?>, Schema<?>> schemaCache = new ConcurrentHashMap<Class<?>, Schema<?>>();
/** * 序列化方法,把指定对象序列化成字节数组 * * @param obj * @param <T> * @return */ @SuppressWarnings("unchecked") public static <T> byte[] serialize(T obj) { Class<T> clazz = (Class<T>) obj.getClass(); Schema<T> schema = getSchema(clazz); byte[] data; try { data = ProtostuffIOUtil.toByteArray(obj, schema, buffer); } finally { buffer.clear(); }
return data; }
/** * 反序列化方法,将字节数组反序列化成指定Class类型 * * @param data * @param clazz * @param <T> * @return */ public static <T> T deserialize(byte[] data, Class<T> clazz) { Schema<T> schema = getSchema(clazz); T obj = schema.newMessage(); ProtostuffIOUtil.mergeFrom(data, obj, schema); return obj; }
@SuppressWarnings("unchecked") private static <T> Schema<T> getSchema(Class<T> clazz) { Schema<T> schema = (Schema<T>) schemaCache.get(clazz); if (schema == null) { //这个schema通过RuntimeSchema进行懒创建并缓存 //所以可以一直调用RuntimeSchema.getSchema(),这个方法是线程安全的 schema = RuntimeSchema.getSchema(clazz); if (schema == null) { schemaCache.put(clazz, schema); } }
return schema; }
public static void main(String[] args){ final ProtoBufEntity entity1 = new ProtoBufEntity("aaa",20); final ProtoBufEntity entity2 = new ProtoBufEntity("bbb",21); List<ProtoBufEntity> entitys = new ArrayList<ProtoBufEntity>(){ { add(entity1); add(entity2); } }; GroupEntity group = new GroupEntity("id_1","group1", entitys);
byte[] bytes = ProtoStuffUtils.serialize(group); System.out.println("序列化后: " + bytes.length);
GroupEntity group1 = ProtoStuffUtils.deserialize(bytes,GroupEntity.class); System.out.println("反序列化后: " + group1.getName());
}}
复制代码


发布于: 2 小时前阅读数: 3
用户头像

磨炼中成长,痛苦中前行 2017.10.22 加入

微信公众号【程序员架构进阶】。多年项目实践,架构设计经验。曲折中向前,分享经验和教训

评论

发布
暂无评论
序列化与反序列化之Protostuff(一)