自动化实践 - 全量 Json 对比在技改需求提效实践

2023-08-08
上海
本文字数：2996 字
阅读完需：约 10 分钟

1 背景

随着自动化测试左移实践深入，越来越多不同类型的需求开始用自动化测试左移来实践，在实践的过程中也有了新的提效诉求，比如技改类的服务拆分项目或者 BC 流量拆分的项目，在实践过程中，这类需求会期望不同染色环境在相同的配置条件下，拆分后的代码和基准 release 代码的接口响应 response 有全量对比结果才能更好达到需求验证点。

2 实践成果

在这种需要对接口返回 response 做全量 json 对比的背景下，商家域新的自动化平台新增了 json 全量对比的组件。在多个技改项目，比如服务拆分和 BC 流量拆分项目中这种比较大，花费人日比较多的项目测试中，应用了 json 全量对比验证。在实践过程中，比如原来要先写自动化，把响应结果挨个验证，或者在不同染色请求跟拆分前代码分别执行再对比结果。

在这种技改需求诉求下，全量 json 对比组件很好地满足了需要验证大量的服务拆分前接口和服务拆分后的接口返回 json 值全量对比。以商家服务拆分技改为例，技改跨几个迭代，需要回归大量的接口（目前该技改测试的接口已过千，还在跨迭代测试中）。测试过程利用全量 json 对比组件，不光测试一轮极大提高了测试效率，在二轮还可以用自动化回归提效。

3 实践过程

3.1 源组件：JSONCompareUtils

本次全量 json 对比引用的源组件是 JSONCompareUtils，是 Artemis 框架提供的。JSONCompareUtils 提供基于万行级 Json 的精确比对能力，这个能力基于一套嵌套降噪配置的递归算法实现。在配置合理的情况下，能快速进行较大 Json 串的比对。详情如下：

引入方式：

方法名：JSONCompare

参数：JSON expect, JSON actual, Properties properties

public static Map<String, String> JSONCompare(JSON expect, JSON actual, Properties properties) {    Map<String, String> diffs = new HashMap<>();
    if (null == expect && null == actual) {        return diffs;    } else if (expect instanceof JSONObject && actual instanceof JSONObject) {        diffs.putAll(JSONObjectCompare((JSONObject) expect, (JSONObject) actual, "$", properties));    } else if (expect instanceof JSONArray && actual instanceof JSONArray) {        diffs.putAll(JSONArrayCompare((JSONArray) expect, (JSONArray) actual, "$", properties));    } else {        diffs.put("$", (expect + COMPARE_ARROW + actual) + "not the same instance type");    }
    if (!org.springframework.util.CollectionUtils.isEmpty(diffs)) {        for (Map.Entry<String, String> entry : diffs.entrySet()) {            logger.info("[key]" + entry.getKey() + "," + "[value]" + entry.getValue());        }

复制代码

3.2 JSONCompareUtils 组件改造

JSONCompareUtils 组件改造后适应于目前效能平台适用的自动化平台组件。

改造后的组件：

改造后的组件名：21471: [JSON] 全量比对-两 Json 传入：对比接口提取返回与入参的 json 异同。

修改点：改成对比两个接口提取返回，提取字段取名 json1、json2。

入参保留 propeties：返回多个时候的排序字段，没有默认空，不排序。

举例："propeties": "$.data.order=order_no"，$.data.order 为 list[Object]，以 Object 中 order_no 排序后，再对 list 做对比。

import jsonimport requests
def call(env_vars, g_vars, l_vars, sys_funcs, asserts, logger, **kwargs):    param = sys_funcs.get_call_param()    path = "http://******/artemis/component/interface-platform/compare/json"    method = "POST"    actual1 = l_vars.get("json1")    actual2 = l_vars.get("json2")
    headers = {        "Content-Type":"application/json; charset=utf8",    }    body = {        "expect" : json.dumps(actual1,ensure_ascii=False),        "actual" : json.dumps(actual2,ensure_ascii=False),        "properties" : str(param["propeties"])    }    logger.info("Artemis请求body:" + str(body))    try:        resq = requests.post(            path,            data = json.dumps(body),            headers = headers,            timeout=8        )        res = json.loads(resq.text)        logger.info("======================artemis组件结果======================")        logger.info(res)                asserts.assertTrue(res["success"], msg="调用artemis-interface异常")        asserts.assertEqual(str(res["data"]), "{}", msg="存在不一致比对数据 :")    except Exception as e:        logger.info(f'执行JSON比对失败【{str(e)}】')        raise e    return res