基于 Bert 迁移学习点击未知弹框

在兼容性测试中，对于一个 app 进行兼容性测试，包括安装，冷启动，热启动，卸载四个步骤，在这四个步骤都正确的情况下，才确定 app 兼容这款手机。

在国内，Android 手机的型号，品牌有很多，各个品牌厂商封装代码不同，给兼容性测试带来了很大的影响，尤其在 Android6.0 以后，Android 为了用户安全引入权限弹框，Android8.0 以后 oppo,vivo 等手机需要用户输入账户，密码才可以安装，为确保兼容性测试的正确执行，需要引入一种辅助处理机制，点窗助手。该 sdk 是基于 google 的 uiautomator 开发的，所以只适用于 Android 系统。

方案

点窗助手主要包括三个部分：云端配置服务、基于 BERT 模型的点击推荐服务、android 端点击服务。

云端配置服务

可以添加弹框配置信息的 web 服务，方便运维工程师添加、删除或者合并一些弹框点击配置信息。弹框配置服务示意图如下图所示，可以给不同品牌的手机根据适用场景配置不同的弹框点击信息，大部分采用组件名正则匹配方式点击，少部分利用坐标点击的方式。

**如图：**某 apk 安装时的弹框

配置如图：

基于 BERT 模型的点击推荐服务

由于 apk 和手机品牌种类繁多，应用弹框也很多样化，无法将所有弹框的点击方法都事先配好。因此，将预训练好的 BERT 中文模型迁移到我们的方案中，搭建了基于 BERT 模型的点击推荐服务。整个服务的示意图如下图所示，BertServer 利用 bert_as_service 项目实现的，并在项目的基础上实现了 BertClientPool，维护多个 BertClient，用于并发编码弹框文本。

霍格沃兹-测试开发：500G软件测试资料免费领取，100+名企大厂岗位免费内推​zhuanlan.zhihu.com/p/5573808310 赞同 · 0 评论文章

** 基于 BERT 模型的点击推荐服务主要分为三个部分**

1

从云端配置服务中获取已配置弹框数据作为样本集，利用 BERT 中文预训练模型对已有配置信息进行向量化；

2

对 android 端发来的弹框点击推荐请求进行数据解析，并根据请求 id 去缓存中匹配，匹配成功，将缓存中结果返回给 android 终端，匹配失败，将请求加入任务队列中，等待 Worker 处理；

3

BertClientPool 分配 BertClient 对任务中弹框文本向量化，计算弹框上每个文本向量和相同品牌型号下已有弹框配置向量集的距离，再根据距离对弹框文本排序，将排序后的弹框文本列表加入缓存中返回给 android 端；

Android 端点击服务

android 端每隔 5s 请求一次云端配置信息，将对应品牌和型号的配置信息存储到本地，利用 uiautomator 监听

OnAccessibilityEventListener

事件回调，判断手机当前的界面是否弹窗，如果出现弹窗界面，利用本地配置信息对弹框做相应的操作，若本地配置信息中没有对该弹窗界面给出指定操作。Android 端将弹窗界面上的所有控件文本拿到，将少于 10 个字的弹框文本（一般情况可点击的弹框文本字数不多）包装后发送给弹框点击推荐服务，弹框点击服务收到请求后将弹框文本按照可能被点击的优先顺序返给 android 端，android 端收到 response 后按照返回的弹框文本列表依次点击直到弹框消失。

更多学习资料点击下方

https://qrcode.ceba.ceshiren.com/link?name=article&project_id=qrcode&from=infoQ&timestamp=1662366626&author=xueqi