一个难忘的 json 反序列化问题

前言

最近我在做知识星球中的商品秒杀系统，昨天遇到了一个诡异的 json 反序列化问题，感觉挺有意思的，现在拿出来跟大家一起分享一下，希望对你会有所帮助。

案发现场

我最近在做知识星球中的商品秒杀系统，写了一个 filter，获取用户请求的 header 中获取 JWT 的 token 信息。

然后根据 token 信息，获取到用户信息。

在转发到业务接口之前，将用户信息设置到用户上下文当中。

这样接口中的业务代码，就能通过用户上下文，获取到当前登录的用户信息了。

我们的 token 和用户信息，为了性能考虑都保存到了 Redis 当中。

用户信息是一个 json 字符串。

当时在用户登录接口中，将用户实体，使用 fastjson 工具，转换成了字符串：

JSON.toJSONString(userDetails);

保存到了 Redis 当中。

然后在 filter 中，通过一定的 key，获取 Redis 中的字符串，反序列化成用户实体。

使用的同样是 fastjson 工具：

JSON.parseObject(json, UserEntity.class);

但在反序列化的过程中，filter 抛异常了：com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}

2 分析问题

我刚开始以为是 json 数据格式有问题。

将 json 字符串复制到在线 json 工具：https://www.sojson.com，先去掉化之后，再格式数据，发现 json 格式没有问题：

然后写了一个专门的测试类，将日志中打印的 json 字符串复制到 json 变量那里，使用 JSON.parseObject 方法，将 json 字符串转换成 Map 对象：

public class Test {
    public static void main(String[] args) {        String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";        Map map = JSON.parseObject(json, Map.class);        // 输出解析后的 JSON 对象        System.out.println(map);    }}

执行结果

{password=$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe, credentialsNonExpired=true, roles=["admin"], accountNonExpired=true, id=13, authorities=[{"authority":"admin"}], enabled=true, accountNonLocked=true, username=admin}

竟然转换成功了。

这就让我有点懵逼了。。。

为什么相同的 json 字符串，在 Test 类中能够正常解析，而在 filter 当中却不行？

当时怕搞错了，debug 了一下 filter，发现获取到的 json 数据，跟 Test 类中的一模一样：

带着一脸的疑惑，我做了下面的测试。

莫非是反序列化工具有 bug？

3 改成 gson 工具

我尝试了一下将 json 的反序列化工具改成 google 的 gson，代码如下：

 Map map = new Gson().fromJson(userJson, Map.class);

运行之后，报了一个新的异常：com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 2 path $

这里提示 json 字符串中包含了：$。

而$是特殊字符，password 是做了加密处理的，里面包含$和.，这两种特殊字符。

为了快速解决问题，我先将这两个特字符替换成空字符串：

json = json.replace("$","").replace(".","");

日志中打印出的 json 中的 password，已经不包含这两个特殊字符了：

2a10o3XfeGr0SHStAwLuJRW6ykE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe

但调整之后代码报了下面的异常：com.google.gson.JsonSyntaxException: com.google.gson.stream.MalformedJsonException: Expected name at line 1 column 2 path $.

跟刚刚有点区别，但还是有问题。

4 改成 jackson 工具

我又尝试了一下 json 的反序列化工具，改成 Spring 自带的的 jackson 工具，代码如下：

ObjectMapper objectMapper = new ObjectMapper();try {    Map map = objectMapper.readValue(json, Map.class);} catch (JsonProcessingException e) {    e.printStackTrace();}

调整之后，反序列化还是报错：com.fasterxml.jackson.core.JsonParseException: Unexpected character ('\' (code 92)): was expecting double-quote to start field name

3 种反序列化工具都不行，说明应该不是 fastjson 的 bug 导致的当前 json 字符串，反序列化失败。

到底是什么问题呢？

5 转义

之前的数据，我在仔细看了看。

里面是对双引号，是使用了转义的，具体是这样做的：\"。

莫非还是这个转义的问题？

其实我之前已经注意到了转义的问题，但使用 Test 类测试过，没有问题。

当时的代码是这样的：

public class Test {
    public static void main(String[] args) {        String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";        Map map = JSON.parseObject(json, Map.class);        // 输出解析后的 JSON 对象        System.out.println(map);    }}

里面也包含了一些转义字符。

我带着试一试的心态，接下来，打算将转义字符去掉。

看看原始的 json 字符串，解析有没有问题。

怎么去掉转义字符呢？

手写工具类，感觉不太好，可能会写漏一些特殊字符的场景。

我想到了 org.apache.commons 包下的 StringEscapeUtils 类，它里面的 unescapeJava 方法，可以轻松去掉 Java 代码中的转义字符。

于是，我调整了一下代码：

json = StringEscapeUtils.unescapeJava(json);JSON.parseObject(json, UserEntity.class);

这样处理之后，发现反序列化成功了。

总结

这个问题最终发现还是转义的问题。

那么，之前 Test 类中 json 字符串，也使用了转义，为什么没有问题？

当时的代码是这样的：

public class Test {
    public static void main(String[] args) {        String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";        Map map = JSON.parseObject(json, Map.class);        System.out.println(map);    }}

但在 filter 中的程序，在读取到这个 json 字符串之后，发现该字符串中包含了\转义符号，程序自动把它变成了\\\。

调整一下 Test 类的 main 方法，改成三个斜杠的 json 字符串：

public static void main(String[] args) {    String json = "{\\\"accountNonExpired\\\":true,\\\"accountNonLocked\\\":true,\\\"authorities\\\":[{\\\"authority\\\":\\\"admin\\\"}],\\\"credentialsNonExpired\\\":true,\\\"enabled\\\":true,\\\"id\\\":13,\\\"password\\\":\\\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\\\",\\\"roles\\\":[\\\"admin\\\"],\\\"username\\\":\\\"admin\\\"}";    Map map = JSON.parseObject(json, Map.class);    System.out.println(map);}

执行结果：Exception in thread "main" com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}抛出了跟文章最开始一样的异常。

说明其实就是转义的问题。

之前，我将项目的日志中的 json 字符串，复制到 idea 的 Test 的 json 变量中，当时将最外层的双引号一起复制过来了，保存的是 1 个斜杠的数据。

这个操作把我误导了。

而后面从在线的 json 工具中，把相同的 json 字符串，复制到 idea 的 Test 的 json 变量中，在双引号当中粘贴数据，保存的却是 3 个斜杠的数据，它会自动转义。

让我意识到了问题。

好了，下次如果遇到类似的问题，可以直接使用 org.apache.commons 包下的 StringEscapeUtils 类，先去掉转义，再反序列化，这样可以快速解决问题。

此外，这次使用了 3 种不同的反序列化工具，也看到了其中的一些差异。

文章转载自：苏三说技术

原文链接：https://www.cnblogs.com/12lisu/p/18289381

体验地址：http://www.jnpfsoft.com/?from=infoq