写点什么

万字揭秘:助力单测提效,覆盖率八成无忧!

  • 2024-08-23
    北京
  • 本文字数:15581 字

    阅读完需:约 51 分钟

万字揭秘:助力单测提效,覆盖率八成无忧!

作者:汽车事业后端研发 陶凯

前言

近两年来,单测这玩意儿又火起来了!各厂开始重视单测通过、覆盖率;连带着,程序猿们的日常也多了一丝严谨。不再是简单的写写代码,提交提交 bug,大家都开始追求那个绿绿的通过率。这不仅仅是为了指标要求,也是为了看到那一行行代码的满足感,更是为了团队的效率和软件质量的稳步提升。


说到单测,不得不说到那些古老的项目,代码行数能跑马拉松,单测啥的就是传说中的“空白篇”。看那代码,一坨坨的,层层调用,简直就像套娃,拆开一个又一个,没完没了。补存量代码的单测,这活儿啊,简直就是人看了心碎,狗看了流泪。这时候,团队合作的重要性就体现出来了。团队成员一条心,拿起武器就是干,那些年的单测债,终于是还清了。虽然过程枯燥无味、让人疲惫,但是看着那代码质量一步步上去,咱们也算是拨云见日,全身上下通透爽快!


我猜,其他团队的小伙伴们也有这种烦恼,今天在这里,我就把单测经验打包分享一番,希望能给大家带来点帮助,一起向着更高的代码质量冲刺!

解题思路

针对庞大的单测债务,我们要战略上进行藐视、战术上进行重视,不要有太大的压力,化繁为简,日拱一卒,具体思路如下:


mock 大法:考虑项目的外部依赖、服务器成本、环境隔离等多方因素的限制,与其花费大量时间、成本在这些方面上,不如采用 mock 的形式。使用 mock 不仅能够规避外部依赖、解决成本问题,而且“预设-check”的形式,可以轻松模拟各种边界条件和异常情况,以测试代码的健壮性,总结一下就是:省事、省力、省成本


分而治之:将整个项目的测试任务细分成小块,比如按照模块、功能或者类别;确定哪些部分最关键、风险最高,优先编写这些部分的测试。遂以日常需求为本,将代码分为存量代码和增量代码,存量代码的单测从简处理,增量代码的单测认真覆盖。以重要程度为准,将代码分为核心代码和非核心代码;核心代码应详尽详,非核心代码量“时”而行。通过以上分析确定高低优先级,按模块或者功能补充单测。


工利其器:通过工具生成单测代码,研发在此基础上进行调参,进而覆盖大部分的逻辑分支,以此方式释放更多的时间,让大家聚焦更重要的工作。


重构优化:针对“坏味道”的代码进行重构重写,尤其是那种一个方法上千行、满篇 if else for 循环的代码。

落地实践

讲完思路,讲落地。面对蛛网一般错综复杂的调用链路,面对形形色色的接口形式,最终采用 JUnit 4、Mockito 组合的方式进行单元测试,具体的落地策略可以如下:


题外话:如今 JUnit 已经迭代到 5.x,Mockito 也进入了 5.x 阶段,在 20 年最开始补充单测的时候,项目用的是 JUnit 5.x + Mockito 5.x,但因为遇到问题时可参考资料较少,随后降级到 JUnit 4.x + Mockito 3.x 实现。

说说为什么没有使用 PowerMockito

在 mockito-inline 中,已经支持 mock 静态类和方法、final 类等。已经能够满足日常的单测场景,在我使用 PowerMockito 的场景大部分都是 mock 一个类的私有方法。


那么大家不妨想想,什么情况下你需要 mock 一个私有方法?对,当你需要 mock 一个类的私有方法时,往往是因为这个类的公共方法或其他方法内部调用了这个私有方法。使用 PowerMockito 来 mock 私有方法需要 @PrepareForTest 注解,而这可能会导致 JaCoCo 等代码覆盖率工具无法正确测量被 @PrepareForTest 注解标记的类的覆盖率。这种情况下,我花了大量时间,浪费大量精力,写了大量代码,最后的到一个不能提升指标完成率的结果,我是不乐意的。


那么大家不妨再想想,我们 mock 的私有方法都是一些什么样的逻辑?要么是又臭又长的、要么是超多分支判断的,要么是一些公共使用的。这是我们应该考虑的是优化这类代码,以单测促重构。

技术栈

POM 依赖配置


<dependencies>    <!-- ===== 单测-begin ===== -->    <!-- mockito-core -->    <dependency>        <groupId>org.mockito</groupId>        <artifactId>mockito-core</artifactId>        <version>3.12.4</version>        <scope>test</scope>    </dependency>    <!-- mockito-inline 用于mock静态方法 -->    <dependency>        <groupId>org.mockito</groupId>        <artifactId>mockito-inline</artifactId>        <version>3.12.4</version>        <scope>test</scope>        <exclusions>            <exclusion>                <artifactId>mockito-core</artifactId>                <groupId>org.mockito</groupId>            </exclusion>        </exclusions>    </dependency>    <!-- ===== 单测-end ===== --></dependencies>
复制代码


POM 插件配置


<plugin>    <groupId>org.jacoco</groupId>    <artifactId>jacoco-maven-plugin</artifactId>    <version>0.8.3</version>    <executions>        <!--在unit测试之前-->        <execution>            <id>pre-unit-test</id>            <goals>                <goal>prepare-agent</goal>            </goals>            <configuration>                <!--如果surefire插件有设置argLine,则jacoco参数必须以下面形式引入                否则会出现surefire 插件的参数覆盖jacoco功能参数,无法生成 jacoco.exec 文件,导致覆盖率一直为0,可见下面surefire 插件配置-->                <propertyName>jacocoArgLine</propertyName>            </configuration>        </execution>        <!-- Default value 参照官网配置 https://www.eclemma.org/jacoco/trunk/doc/report-mojo.html -->        <execution>            <id>report</id>            <phase>test</phase>            <goals>                <goal>report</goal>            </goals>        </execution>        <!-- Default value 参照官网配置 https://www.eclemma.org/jacoco/trunk/doc/report-aggregate-mojo.html -->        <execution>            <id>report-aggregate</id>            <phase>test</phase>            <goals>                <goal>report-aggregate</goal>            </goals>        </execution>    </executions></plugin><plugin>    <groupId>org.apache.maven.plugins</groupId>    <artifactId>maven-surefire-report-plugin</artifactId>    <version>2.22.2</version></plugin><!--是maven里执行测试用例的插件,默认使用JUnit并执行测试用例(如果配置jacocoArgLine,则此插件配置要在最后,否则获取不到配置项)--><plugin>    <groupId>org.apache.maven.plugins</groupId>    <artifactId>maven-surefire-plugin</artifactId>    <version>2.22.2</version>    <configuration>        <!--忽略测试失败配置:继续打印报告及执行其它module的测试-->        <testFailureIgnore>true</testFailureIgnore>        <!--跳过测试阶段配置-->        <skipTests>false</skipTests>        <!--argLine作用指定VM参数-->        <argLine>-Dfile.encoding=UTF-8 ${jacocoArgLine}</argLine>        <!--如果surefire插件有设置argLine,则下面jacoco必须设置propertyName来形式引入 否则会出现surefire 插件的参数覆盖jacoco功能参数,无法生成        jacoco.exec 文件,导致覆盖率一直为0-->    </configuration></plugin>
复制代码


以上,版本自行查询、修改。

第一步:清除杂兵,减少基数

此步骤旨在:消除需要覆盖的代码行的基数。如日常开发中的注解组件:lombok、mapstruct 等,其注解会生成 class 文件。尤其是 lombok 的 @Data、@Builder 注解,一个 10 个字段的类其生成的 eaquals 和 hash 方法就不止 20 行,内部 builder 类代码行数不下原类的 3 倍,同时生成的代码分支较多,较难覆盖,我的解决思路是排除。


lombok 插件


解决方案:在项目根目录中,常见一个名为 lombok.config 的文件,配置如下:


## 声明根配置文件config.stopBubbling=true# 排除单测统计(起作用生成@Generated注解,避免jacoco扫描)lombok.addLombokGeneratedAnnotation=true
复制代码


mapstruct 插件


解决方案:通过升级 mapstruct 版本至 1.3.1 版本及以上。


在 mapstruct 高版本中,生成的代码类上存在 @Generated 注解,该注解声明此类由程序自动生成,告诉 jacoco 在统计单测覆盖率或者其他审计工具进行审计时忽略该类。


第二步:反射出战,摧枯拉朽(进度:0%~25%)

此步骤旨在:节省非核心代码的单测编写时间,让大家有更多时间聚焦更重要的事情。 如 POJO 类、Enum、Mybatis 生成的的 Example、Wrapper 等类,这些类大多为 setter、getter 方法,尤其是 Example 和 Wrapper 类,还内置了一些 eq、between、in 等方法。这些方法的单测如果全部覆盖效果明显,但是意义不大,因此本人取巧,通过反射自动覆盖其 setter、getter 和一些常见的入参类型的方法。反射代码具体实现如下:


package com.xx.xx;
import com.google.common.collect.Lists;import com.google.common.reflect.ClassPath;import lombok.extern.slf4j.Slf4j;import org.junit.Before;import org.junit.Test;import org.junit.runner.RunWith;import org.mockito.junit.MockitoJUnitRunner;
import java.lang.reflect.Constructor;import java.lang.reflect.Method;import java.lang.reflect.Modifier;import java.math.BigDecimal;import java.util.ArrayList;import java.util.Date;import java.util.List;import java.util.Set;
/** * @version 1.0.0 * @date 2024-01-26 19:36 */@Slf4j@RunWith(MockitoJUnitRunner.class)public class PojoCoverTest {
/** * 需要覆盖的包集合 */ private final static List<String> POJO_PACKAGE_LIST = Lists.newArrayList( // --- domain "com.xx.xx.xx.cache.promotion", "com.xx.xx.xx.domain", "com.xx.xx.xx.dto", "com.xx.xx.xx.enums", "com.xx.xx.xx.json", "com.xx.xx.xx.param", "com.xx.xx.xx.pay", "com.xx.xx.xx.result", "com.xx.xx.xx.vo", //--- publish "com.xx.xx.xx.publish.base", "com.xx.xx.xx.publish.result", "com.xx.xx.xx.publish.vo", //--- rpc "com.xx.xx.xx.rpc.vo", "com.xx.xx.xx.rpc.dto", //--- shop "com.xx.xx.xx.shop.param", "com.xx.xx.xx.shop.result", //--- web "com.xx.xx.xx.web.bo", "com.xx.xx.xx.web.config", "com.xx.xx.xx.web.controller.param", "com.xx.xx.xx.web.model", "com.xx.xx.xx.web.vo", //--- service "com.xx.xx.xx.service.event", "com.xx.xx.xx.service.factor.dto", "com.xx.xx.xx.service.factor.enums", "com.xx.xx.xx.service.impl.delivery.param", "com.xx.xx.xx.service.param", "com.xx.xx.xx.service.vo" );
/** * 类加载器 */ private ClassLoader classLoader = null;
@Before public void before() { // 获取当前类加载器 classLoader = Thread.currentThread().getContextClassLoader(); }
/** * 反射执行所有:pojo、enum、exlpame 等基础domain类。 */ @Test public void domainCoverTest() { // 获取class loader for (String packageName : POJO_PACKAGE_LIST) { try { // 加载指定包以及子包的类 ClassPath classPath = ClassPath.from(classLoader); Set<ClassPath.ClassInfo> classInfos = classPath.getTopLevelClassesRecursive(packageName); log.error(">>>>>>> domainCoverTest, packageName:{}, classSize:{}", packageName, classInfos.size()); // 覆盖单测 for (ClassPath.ClassInfo classInfo : classInfos) { this.coverDomain(classInfo.load()); } } catch (Throwable e) { log.error(">>>>>>> domainCoverTest Exception package:{}", packageName, e); } } }
private void coverDomain(Class<?> clazz) { boolean canInstance = this.canInstance(clazz); if (!canInstance) { return; }
// 枚举,执行所有值 if (clazz.isEnum()) { Object[] enumList = clazz.getEnumConstants(); for (Object enumField : enumList) { // 输出每一行枚举值 String enumString = enumField.toString(); } }
// 执行外部类的所有方法 Object outerInstance = null; try { outerInstance = clazz.getDeclaredConstructor().newInstance(); this.method(clazz, outerInstance); } catch (Throwable ignored) { }
// 执行指定内部类的方法 for (Class<?> innerClass : clazz.getDeclaredClasses()) { try { boolean innerCanInstance = this.canInstance(clazz); if (!innerCanInstance) { continue; } boolean isStatic = Modifier.isStatic(innerClass.getModifiers()); Object innerClazzInstance = null; if (isStatic) { Constructor<?> constructor = innerClass.getDeclaredConstructor(); constructor.setAccessible(true); innerClazzInstance = constructor.newInstance(); } else { Constructor<?> constructor = innerClass.getDeclaredConstructor(clazz); constructor.setAccessible(true); innerClazzInstance = constructor.newInstance(outerInstance); } this.method(innerClass, innerClazzInstance); } catch (Throwable ignored) { } } }
private boolean canInstance(Class<?> clazz) { int modifiers = clazz.getModifiers(); boolean isAnnotation = clazz.isAnnotation(); boolean isInterface = clazz.isInterface(); boolean isEnum = clazz.isEnum(); boolean isAbstract = Modifier.isAbstract(modifiers); boolean isNative = Modifier.isNative(modifiers); log.error(">>>>>>> coverDomain class:{}, isAnnotation:{}, isInterface:{}, isEnum:{}, isAbstract:{}, isNative:{}", clazz.getName(), isAnnotation, isInterface, isEnum, isAbstract, isNative); if (isAnnotation || isInterface || isAbstract || isNative) { return false; } // 如果是静态类或者final类,且不是枚举类也不处理 return isEnum || (!Modifier.isFinal(modifiers)); }
/** * 通过反射调用指定实例的方法 * * @param clazz 方法所属的类对象 * @param instance 方法所属的实例对象 */ private void method(Class<?> clazz, Object instance) { for (Method method : clazz.getDeclaredMethods()) { if (!Modifier.isStatic(method.getModifiers())) { method.setAccessible(true); } Class<?>[] parameterTypes = method.getParameterTypes(); try { if (parameterTypes.length == 0) { method.invoke(instance); } else { // null 值覆盖 try { Object[] parameters = new Object[parameterTypes.length]; for (int i = 0; i < parameterTypes.length; i++) { Class<?> paramType = parameterTypes[i]; parameters[i] = this.getValue(paramType, true); } method.invoke(instance, parameters); } catch (Throwable ignore) { } // 非 null 值覆盖 try { Object[] parameters = new Object[parameterTypes.length]; for (int i = 0; i < parameterTypes.length; i++) { Class<?> paramType = parameterTypes[i]; parameters[i] = this.getValue(paramType, false); } method.invoke(instance, parameters); } catch (Throwable ignore) { } } } catch (Throwable ignored) { } } }
/** * 通过类的type 返回对应的默认值, 如果有其他类型请大家自行补充 * * @param type 入参字段类型 * @return 返回对应字段的默认值 */ private Object getValue(Class<?> type, boolean useNull) { if (type.isPrimitive()) { if (type.equals(boolean.class)) { return false; } else if (type.equals(char.class)) { return '\0'; } else if (type.equals(byte.class)) { return (byte) 0; } else if (type.equals(short.class)) { return (short) 0; } else if (type.equals(int.class)) { return 0; } else if (type.equals(long.class)) { return 0L; } else if (type.equals(float.class)) { return 0F; } else if (type.equals(double.class)) { return 0.0; } } if (useNull) { return null; } if (type.equals(String.class)) { return "1"; } else if (type.equals(Integer.class)) { return 1; } else if (type.equals(Long.class)) { return 1L; } else if (type.equals(Double.class)) { return 1.1D; } else if (type.equals(Float.class)) { return 1.1F; } else if (type.equals(Byte.class)) { return Byte.valueOf("1"); } else if (type.equals(List.class)) { return new ArrayList<>(); } else if (type.equals(Short.class)) { return Short.valueOf("1"); } else if (type.equals(Date.class)) { return new Date(); } else if (type.equals(Boolean.class)) { return true; } else if (type.equals(BigDecimal.class)) { return BigDecimal.ONE; } else { // 对于非原始类型和String,我们不提供默认值,即不传递参数 return null; } }}
复制代码


点击并拖拽以移动


代码释义:将指定包名下的类通过反射执行代码逻辑;通过反射执行类以及内部类的方法,如方法参数为基本数据类型、Date、BigDecimal 等则设置默认值进行覆盖(枚举遍历输出枚举值)。


实战效果如下图,单单以 domain 模块为例(其实在 common、mananger、publish、rpc、task 等模块中也有部分 pojo 类),如将 domain 推到 100%,则全量单测覆盖率增加 18%以上。加上其他模块的 pojo 类、enum 类等,全量单测覆盖率基数提升 25%不困难。

第三步:法宝致胜,快速生成(进度:25%~60%)

完成第二步,我们解决了非核心的边缘代码的单测,此时项目基本上会有一个 20%~25%的基础覆盖率。下面我们就要对 util、service、controller 进行覆盖,此时我们可以使用工具帮助我们快速生成单测。推荐 Diffblue、SquareTest 或者 TestMe,这三个工具都是用过,从功能和生成单测的质量排序:Diffblue > SquareTest > TestMe。


Diffblue 是收费的,基于 AI 实现,国内好像没法办使用了,之前通过一些技数手段用过,单测效果 very good!其配套能力丰富、能批量生成,生成单测的质量也是杠杠的。


SquareTest 目前也收费了,复杂类的单测覆盖率在 20~40%左右,简单的单测覆盖率在 50~80%,综合平均覆盖率在 30~50%左右,去年也是痛下决心花了数百大洋交了个懒人费。SquareTest 官方网站: Squaretest - Java Unit Test Generator for IntelliJ IDEA (内含视频教程呦!)


TestMe 是免费的,同样的单测质量和功能性比前两者有所不如,毕竟免费嘛,要求这么多干嘛😜。


实战效果如下图(采用 SquareTest),红色框内的我也补充了部分类的详细单测,记忆中是从 55%推到 60%的,也就是说 SquareTest 将我的单测从 26%推到了 55%,对于这个有着 10 年年龄的代码库,能提升了 29%还是满意的。


讲到单测工具,不得不提这两年很火的 AI,上文提到的 Diffblue 就是基于 AI 实现。在我任职的公司也提供了内部的 AI 工具,名为:joyCoder。


在使用 joyCoder 时,其单测通过率相比 SquareTest 更高一些,覆盖率也更好一些,但使用过程中也有一些不便:


1.一个类的行数超过 2000 行,它就拒绝给我生成单测了


2.无法直接生成文件,需要创建单测类后再将生成代码 copy 进去。


3.需要告知 joycoder 单测要求,不然常常生成示例代码。


基于以上我将 joyCoder 作为增量代码的单测生成利器。将 SquareTest 作为存量代码的单测生成利器。


增量代码的单测在 joyCoder 的生成的基础上,在进行手动调参。完成超高的单测覆盖。

第四步:特例分析,内功小成(进度:60%~70%)

针对工具生成单测的时候一些覆盖不到的代码,手动调整时高频遇到的一些问题进行整理。

mock 静态方法

以下示例中 SkuImportUtil 是一个静态类,有 public static 方法 getSkusFromExcel。


@Testpublic void importSkus_setEx_true() {    // mock MultipartFile    MultipartFile file = new MockMultipartFile("file", "test.xlsx", "application/vnd.ms-excel", "excel".getBytes());    // mock SkuImportUtil    MockedStatic<SkuImportUtil> mocked = mockStatic(SkuImportUtil.class);    mocked.when(() -> SkuImportUtil.getSkusFromExcel(eq(file), any(StringBuilder.class), anyInt())).thenReturn(Sets.newHashSet("1"));    // mock cache    when(cacheService.setEx(anyString(), anyString(), anyLong(), eq(false))).thenReturn(true);    // call    Result<String> result = performanceController.importSkus(file);    assert ResultCodeEnum.SUCCESS.getCode().equals(result.getCode());}
复制代码


mock 自调用(public 方法)

自调用表示一个对象在其自身的其他方法中调用自己的方法,如存在一类,该类存在 A、B 两个方法,A 方法内部调用本类的 B 方法。


这里 mock 的是自调用方法中的被 public 修饰的被调用方。


以下示例中存在 PerformanceController 类,存在两个 public 类:doSave 和 doUpdate,其中 doSave 方法内部调用了 doUpdate 方法。


简化代码如下:


@RequestMapping("doSave")@ResponseBodypublic Result<String> doSave(@RequestBody PerformanceConfigParam param) {    String pin = PinSupport.getPin();    log.info("PerformanceController.doSave pin:{}, param:{}", pin, JSON.toJSONString(param));    String importSkuKey = param.getImportSkuKey();    if (StringUtils.isNotBlank(importSkuKey)) {        // 导入模式 ...    } else {        // 录入模式 ...    }    // 参数校验 ...
// 保存数据 return this.doUpdate(param);}
@RequestMapping("doUpdate")@ResponseBodypublic Result<String> doUpdate(@RequestBody PerformanceConfigParam param) { String pin = PinSupport.getPin(); LogTypeEnum.DEFAULT.info("PerformanceController.doUpdate pin:{}, param:{}", pin, JSON.toJSONString(param)); // 1.数据预校验 ... // 2.数据预处理 ... // 3.数据库操作 ... }
复制代码


示例单测如下:


@RunWith(MockitoJUnitRunner.class)public class PerformanceControllerSpyTest {       @Spy    @InjectMocks    private PerformanceController performanceController;
@Mock private CacheService cacheService;
@Test public void save_import() { // mock cache when(cacheService.get(anyString())).thenReturn("[1,2]"); // mock doUpdate doReturn(Result.success(true)).when(performanceController).doUpdate(any()); // call PerformanceConfigParam param = new PerformanceConfigParam(); param.setImportSkuKey("cacheKey"); performanceController.doSave(param); // assert assert "0".equals(result.getCode()); }}
复制代码


需注意,这里 mock 类需要使用 @Spy 进行标记,并且 mock 本类其他方法时,需要先 doXxx().when().xxx(); 不然会真实调用。

mock final 类

在切面类中常常用到一个 Method 类,此类是一个 final 类,mock 被 final 修饰的类可能引发不可预知的异常。


mock final 类常常出现于 AOP 切面中,单测示例代码如下


@Testpublic void secKey_empty() throws Throwable {    // mock ProceedingJoinPoint    ProceedingJoinPoint joinPoint = mock(ProceedingJoinPoint.class);    // mock MethodSignature    MethodSignature signature = mock(MethodSignature.class);    when(joinPoint.getSignature()).thenReturn(signature);    // mock Method (final)    Method method = mock(Method.class);    when(method.getName()).thenReturn("mockMethod");    when(signature.getMethod()).thenReturn(method);    // mock param    JosBaseParam param = new JosOrderQuery();    when(joinPoint.getArgs()).thenReturn(new Object[]{param});    // mock duccConfig    when(josDucc.getAppSecKeyConfig()).thenReturn(new HashMap<>());    // call    josSecKeyAspect.around(joinPoint);}
复制代码


mock 多次调用不同结果

适用于一个方法内多次调用某个方法,常见遍历处理某些数据,处理结果为空、异常、正常等个判断。


示例代码


public void delSkuTemplateRelationByTemplateId(Long templateId) {    List<Long> skuList = skuGroupCacheUtil.getTemplateSkuIdsByTemplateIdNew(templateId);    if (skuList == null) {        return;    }    List<RSkuTemplateRelation> cacheList = new ArrayList<>();    List<RSkuTemplateRelation> deleteList = new ArrayList<>();    for (Long sku : skuList) {        List<RSkuTemplateRelation> relationList = rSkuTemplateService.getSkuTemplateRelationBySku(sku);        if (relationList == null) {            continue;        }        for (RSkuTemplateRelation relation : relationList) {            if (Long.valueOf("99").equals(relation.getModelId())) {                deleteList.add(relation);            } else {                cacheList.add(relation);            }        }    }    cacheService.batchOriginalSetEx(cacheList);    cacheService.originalDel(deleteList);}
复制代码


示例单测


使用 eq() 进行匹配,它告诉 Mockito 只有当 mock 的方法的参数等于某个值的时,才认为方法调用是正确的。


@Testpublic void delSkuTemplateRelationByTemplateId() throws Exception {    // mock 查询为空场景    when(skuGroupCacheUtil.getTemplateSkuIdsByTemplateIdNew(anyLong())).thenReturn(Lists.newArrayList(1L, 2L, 3L));    when(rSkuTemplateService.getSkuTemplateRelationBySku(eq(1L))).thenReturn(null);    // mock 正常结果    RSkuTemplateRelation r2 = new RSkuTemplateRelation();    r2.setModelId(2L);    when(rSkuTemplateService.getSkuTemplateRelationBySku(eq(2L))).thenReturn(Lists.newArrayList(r2));    // mock 异常结果    RSkuTemplateRelation r3 = new RSkuTemplateRelation();    r3.setModelId(99L);    when(rSkuTemplateService.getSkuTemplateRelationBySku(eq(3L))).thenReturn(Lists.newArrayList(r3));    // mock cache batchOriginalSetEx    doNothing().when(cacheService).batchOriginalSetEx(anyList());    // mock cache originalDel    when(cacheService.originalDel(anyList())).thenReturn(1L);    // call    rSkuTemplateService.delSkuTemplateRelationByTemplateId(2L);}
复制代码


第五步:另辟蹊径,重增略存(进度:70%~85%)

此步骤旨在:基于研发资源长期紧张的情况下,重视增量单测,对新开发的功能进行重点测试,可以确保新加入的代码不会破坏现有的功能,保持软件质量。简略存量单测,对于已有的代码,如果资源有限,采取简略测试可以节省时间和成本。随着需求的更新换代,逐步完善单元测试,可以确保测试覆盖率随时间提高,而不是一开始就追求完美。

修改 private 方法的修饰符为 public

参考【落地实践】中第四步【mock 自调用(public 方法)】的形式,但是个人不建议这样搞,毕竟破坏了封装特性,降低了类、方法的安全性。建议通过设计模式,如策略、装饰器、工厂等实现,或这将其抽成为辅助类

使用线上 JSON 化数据进行单测回放

此方案借鉴了公司的压测平台,通过录制生产环境的流量(包括入参、cookie 等),并在预发环境进行回放压测。具体操作是,基于生产环境的入参 JSON 和各依赖服务的返回结果 JSON 作为录制的单元测试数据,在单元测试中通过 jsonRead 方法进行反序列化后执行。


引入 POM 如下:


<!-- JSON 解析 --><dependency>    <groupId>com.jayway.jsonpath</groupId>    <artifactId>json-path</artifactId>    <version>2.7.0</version></dependency>
复制代码


json 读取工具类


package com.xx.xx.xx;
import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.TypeReference;import com.jayway.jsonpath.DocumentContext;import com.jayway.jsonpath.JsonPath;import lombok.extern.slf4j.Slf4j;
import java.io.File;import java.util.Objects;
/** * JsonReadUtil * https://github.com/json-path/JsonPath * * @version 1.0 * @date 2021-04-26 15:54:00 */@Slf4jpublic class JsonReadUtil {

/** * 从指定的文件路径中读取JSON数据并根据给定的JSON路径和类解析成指定的对象 * * @param filePath 文件路径 * @param jsonPath JSON路径 * @param clazz 解析的对象类型 * @return 解析后的对象,如果读取失败则返回null * @throws Exception 读取过程中可能抛出的异常 */ public <T> T readJson(String filePath, String jsonPath, Class<T> clazz) throws Exception { File file = new File(Objects.requireNonNull(this.getClass().getResource("/" + filePath)).toURI()); DocumentContext ctx = JsonPath.parse(file); Object read = ctx.read(jsonPath); if (read != null) { return JSON.parseObject(JSON.toJSONString(read), clazz); } else { return null; } }
/** * 从指定的JSON文件中读取指定路径的数据 * * @param filePath JSON文件路径 * @param jsonPath JSON数据路径 * @param type 数据类型的引用 * @return 读取到的数据对象 * @throws Exception 读取过程中可能出现的异常 */ public <T> T readJson(String filePath, String jsonPath, TypeReference<T> type) throws Exception { File file = new File(Objects.requireNonNull(this.getClass().getResource("/" + filePath)).toURI()); DocumentContext ctx = JsonPath.parse(file); Object read = ctx.read(jsonPath); if (read != null) { return JSON.parseObject(JSON.toJSONString(read), type); } else { return null; } }}
复制代码


单测代码示例


@Testpublic void validator_fail() throws Exception {        PerformanceConfigParam param = new JsonReadUtil().readJson(                "mock/SavePre03ShopGroupValidatorTest.json"                , "$.fail_param"                , PerformanceConfigParam.class        );        param.setAvailableMap(new HashMap<Long, List<Long>>() {{            put(1L, Lists.newArrayList(100069042303L, 2L));        }});        List<LocShopProductInfoVO> locShopList = new JsonReadUtil().readJson(                "mock/SavePre03ShopGroupValidatorTest.json"                , "$.fail_locShopList"                , new TypeReference<List<LocShopProductInfoVO>>() {                }        );        List<TemplateProviderRelation> tpRelationList = new JsonReadUtil().readJson(                "mock/SavePre03ShopGroupValidatorTest.json"                , "$.fail_tpRelationList"                , new TypeReference<List<TemplateProviderRelation>>() {                }        );
List<ServiceProvider> serviceProviderList = new JsonReadUtil().readJson( "mock/SavePre03ShopGroupValidatorTest.json" , "$.fail_serviceProviderList" , new TypeReference<List<ServiceProvider>>() { } ); when(locShopDataEsSearchService.queryLocShopByShopIds(anyList())).thenReturn(locShopList); when(templateProviderRelationService.queryRelationByTemplateId(anyList())).thenReturn(tpRelationList); when(cacheService.setEx(anyString(), anyString(), anyLong(), anyBoolean())).thenReturn(true); when(serviceProviderDao.queryServiceProviderByIds(anyList())).thenReturn(serviceProviderList); savePre03ShopGroupValidator.validator(param);}
复制代码


单侧覆盖效果截图,准备了成功和失败的两个参数,覆盖率高达 97%(类中依赖较少,但是有很多的 list 转 map,map 遍历等行为)。

第六步:以单测促重构,登顶高峰(进度:85%~95%)

《重构:改善既有代码的设计》提出的观点强调了单元测试在软件开发中的重要性,尤其是在代码重构的过程中:


•安全保障:单元测试构建了重构的安全网,确保重构不会改变代码的预期行为。


•质量提升:单元测试促进开发者编写易于测试的模块化代码,间接提高代码质量。


•重构工具:单元测试不仅是检测质量的工具,还是推动代码结构优化的重要手段。


•代码文档:测试用例也充当了代码的实时文档,帮助理解和维护代码。


由此可见,单测不单单是质量检测工具,还是代码重构的重要手段,更是保证重构质量的重要工具。


那么在我们开发中如何重构呢?


1、不对自己不熟悉的代码进行重构(熟悉成本、试错成本、测试成本)


2、小步快进,如果要重构三层及以上依赖的防范则认为是架构级重构,需要完成至少 2 个架构师交叉评审、协调测试资源后才能重构。三层以下则认为是微重构,鼓励微重构。


3、一个类很多私有方法时,将私有方法转为辅助的函数类(方便单测、主次分离、主干清晰)。


4、多使用设计模式。


5、多使用分治思想。


6、精炼、抽象共有能力。

注意事项

1、上述中【落地实践】【第二步】反射注意事项。

建议单独建立一个 maven module,并在最后编译。因为用到了类加载器,避免对其他单测的影响,放到最后执行,通过<module>的顺序实现,代码片段如下


因为同项目下存在 war 包模块,则需要对其进行改造,在编译不仅打了 war 包,还要打出 jar 包(不会对已有产生影响),需要在 pom 中配置 plugin,如下


<!-- 将war下class打包附属jar,额外的操作不影响 --><plugin>    <artifactId>maven-jar-plugin</artifactId>    <version>3.2.0</version>    <executions>        <execution>            <id>make-a-jar</id>            <phase>package</phase>            <goals>                <goal>jar</goal>            </goals>            <configuration>                <classifier>classes</classifier>                <includes>                    <include>**/*.class</include>                </includes>            </configuration>        </execution>    </executions></plugin>
复制代码


以上完成整个配置。

2、包装类传 null 值要用 any() mock

在使用 Mockito 进行单元测试时,如果你需要 mock 一个方法,其参数是 Long 这样的包装类型,并且这个参数可能为 null,确实需要使用 any()而不是 anyLong()。


anyXxx()是用于匹配任何非 null 的 xxx 或 Xxx 类型的值,而 any()则更加通用,可以匹配任何类型的值,包括 null。


除此之外,还可以使用以下形式进行 mock(个人比较喜欢此类方法)


when(mockOrderService.queryOrderById(any(Long.class))).thenReturn(new Order());
复制代码


发布于: 刚刚阅读数: 2
用户头像

还未添加个人签名 2024-01-12 加入

京东零售那些事,有品、有调又有料的研发资讯,带你深入了解程序猿的生活和工作。

评论

发布
暂无评论
万字揭秘:助力单测提效,覆盖率八成无忧!_测试 单元测试_京东零售技术_InfoQ写作社区