清华大学 AutoDroid-V2,软件测试行业将如何发展
全面解析软件测试开发:人工智能测试、自动化测试、性能测试、测试左移、测试右移到DevOps如何驱动持续交付
清华大学智能产业研究院(AIR)于 2024 年 12 月 24 日发布了一篇论文,介绍推出 AutoDroid-V2 AI 模型。该模型在移动设备上利用小型语言模型(SLM),显著提升了自然语言控制的自动化程度。
AutoDroid-V2 采用基于脚本的方法,通过设备端的小型语言模型高效执行用户指令,相比依赖云端大型语言模型(LLM)的传统方法,在效率、隐私和安全性方面均有显著优势。该系统生成多步骤脚本一次性执行多个 GUI 操作,大幅减少了查询频率和资源消耗,有效保护了用户隐私和数据安全,并降低了服务器端成本。
基准测试结果显示,在 23 个移动应用上测试 226 项任务时,AutoDroid-V2 的任务完成率比 AutoDroid、SeeClick、CogAgent 和 Mind2Web 等基线提高了 10.5%-51.7%。在资源消耗方面,输入和输出 token 消耗分别减少至原来的 43.5 分之一和 5.8 分之一,LLM 推理延迟降低至 5.7~13.4 分之一。
此外,跨 LLM 测试中,AutoDroid-V2 在 Llama3.2-3B、Qwen2.5-7B 和 Llama3.1-8B 上的成功率为 44.6%-54.4%,反向冗余比为 90.5%-93.0%。
AutoDroid-V2 无疑对软件测试行业产生了深远的影响。这款创新的 AI 模型以其独特的小型语言模型(SLM)和基于脚本的方法,为移动设备的自动化控制带来了革命性的突破,同时也为软件测试行业带来了新的机遇和挑战。
AutoDroid-V2 能够根据用户指令生成多步骤脚本,一次性执行多个 GUI 操作,这大幅减少了测试过程中的查询频率和资源消耗。相较于传统的逐步 GUI 智能体方法,AutoDroid-V2 在任务完成率和资源效率上均实现了显著提升。这意味着软件测试人员可以更快地执行测试任务,同时获得更准确的测试结果,从而大大提高测试工作的整体效率。
传统的移动设备自动化控制方法往往依赖于云端大型语言模型(LLM),这引发了隐私和安全方面的担忧。而 AutoDroid-V2 则通过设备端的小型语言模型高效执行用户指令,减少了对云服务的依赖,从而在隐私和安全性方面有了显著的提升。这对于软件测试行业来说尤为重要,因为测试过程中往往涉及大量的敏感数据和用户信息,AutoDroid-V2 的隐私保护能力为测试工作提供了更加安全的环境。
AutoDroid-V2 的发布,不仅代表着清华大学在智能自动化测试领域的科研突破,也可能成为软件测试行业的一次重要变革。随着自动化测试技术的普及和发展,软件开发和测试的效率、质量和安全性都将得到显著提升,同时也会推动测试行业的进一步发展。对于企业来说,拥抱这一技术将帮助提高市场竞争力,而对于测试人员来说,提升技能和适应新的测试工具和方法,将是未来职业发展的关键。
推荐学习
内容全面升级, 30+ 项目实战强化训练,资深测试架构师、开源项目作者亲授 BAT 大厂前沿最佳实践,带你一站式掌握测试开发必备核心技能(对标阿里 P6+,年薪 50W+)!
评论