软件测试 | 结合 Allure 生成测试报告
简介
测试报告在项目至关重要,测试人员可以在测试报告中体现自己的工作量,开发人员可以从测试报告中 了解缺陷的情况,测试经理可以从测试报告中看到测试人员的执行情况及测试用例的覆盖率,项目负责 人可以通过测试报告查看整个项目还余留多少问题。强大的测试报告能够非常清晰的反映很多问题,提 供给相关人员了解项目的整体情况。
Allure 是一种灵活的、轻量级、支持多语言测试报告框架,它不仅能够以简洁的 web 报告形式显示已测 试的内容,而且允许参与开发的每个人,从测试的日常执行中提取最大限度的有用信息。同时支持多种 语言包括 Java、Python、JavaScript、Ruby、Groovy、PHP、.Net、 Scala。
安装
安装 ALLURE
Mac 可以使用 brew 安装 Allure,安装命令如下:
关于 Allure 在其它操作系统安装方式,参照官网(https://docs.qameta.io/allure/ #_installing_a_commandline)。
查看 Allure 版本:
其他操作系统请参考 https://docs.qameta.io/allure/#_installing_a_commandline 。
安装 ALLURE-PYTEST 插件
与 pytest 结合需要安装 allure-pytest 插件 pip install allure-pytest 。
Allure 特性
ALLURE FEATURE 与 ALLURE STORY
使用装饰器 @allure.feature 和 @allure.store 来装饰测试用例。
feature 相当于大模块,将测试用例分类到某个 Feature 中,报告中 Behaviore 中显示,相当于测试 套件(Test Suite)
story 相当于对应功能或者模块下的不同场景,属于分支功能,相当于测试用例(Test Case)
feature 与 story 类似于父子关系
定义测试类为 feature,定义测试方法为 story,代码如下:
ALLURE STEP
测试过程中,如果想查看测试用例每个步骤的结果,可以添加测试步骤的装饰器 @allure.step() 用法 1,方法加上装饰器作为测试步骤:
用法 2,在用例中添加测试步骤
关联测试用例
在测试报告中关联测试用例的 URL 地址
添加测试附件 前端自动化测试时,会需要在测试报告中附加错误截图或者视频片段。可以使用 Allure,在报告中添加 截图,视频等多媒体素材的功能。
在测试报告里附加图片
image.png 图片的相对或者绝对路径 attachment_type=allure.attachment_type.PNG 图片的类 型,这里使用的是 PNG 格式,也可以选择其它的格式,例如 JPG,BMP 等
在测试报告里附加视频
video.mp4 视频的相对或者绝对路径 name 展示在测试报告中的视频名字,如果不为这个视频命 名,系统会自动为它生成一个名称展示在报告中。 attachment_type=allure.attachment_type.MP4 视频的类型,这里使用 MP4 格式。
运行
第一步:在 pytest 执行测试的时候,指定参数 --alluredir 选项及结果数据保存的目录,代码如下:
tmp/my_allure_results 中保存了本次测试的结果数据。
第二步:打开报告 两种方式 第一种:需要启动 Allure 服务,在 terminal 中输入 allure serve tmp/my_allure_results ,代码 如下:
第二种:也可以使用 allure generate 生成 html 格式的测试结果报告,并使用 allure open 来 打开报告。
上面的命令将 ./result/ 目录下的测试数据生成 HTML 测试报告到 ./report 路径下,-–clean 选项目的 是先清空测试报告目录,再生成新的测试报告,然后使用下面的命令打开报告。
上面的命令会启动一个 Web 服务,将已经生成的 html 测试报告在默认的浏览器中打开(地址: 127.0.0.1:8883),报告如下:
上面的测试报告首页中展示了此次测试的测试用例数量、成功用例、失败用例、跳过用例的比例、测试 环境、测试套、分类等。如果与 Jenkins 结合使用,TREND 区域还将显示,历次测试的通过情况。 点击左下角的 En,可以切换语言,下图为切换成中文展示。
首页的左边栏,还从不同的维度展示测试报告的其他信息。重点页面介绍:
总览:汇总结果展示
类别:按照用例的类别,分类展示
测试套:Allure 测试报告将每一个测试脚本,作为一个测试套
图表:展示了此次测试结果的统计信息,比如测试用例执行结果状态、测试用例重要等级分布、测 试用例执行时间分布等
功能:按照 FEATURES 和 STORIES 展示测试用例的执行结果
测试用例详情页面,测试套页面点击任意一条测试用例,右侧将展示详细信息。图中可以看到测试 步骤,每个步骤的执行结果,还有测试用例的链接、图片、视频等内容
前端自动化测试实战(百度搜索功能)
实际项目中,一旦用例报错,希望将被测应用运行时的错误状态记录下来。记录这些状态可以通过日 志、截图、视频等手段,并将这些测试结果展示在测试报告中,方便相关人员查看并定位问题。
以网页版本的百度为例,百度首页呈现的功能:搜索、新闻、网页等,我们以百度网页的搜索功能为 例,使用 Allure、pytest 结合 selenium 自动化测试框架,完成一个搜索功能的测试(关于 Web 前端测 试中使用的 Selenium,参考 Web 自动化测试章节)。模拟百度搜索功能场景,需要创建两个文件(数 据文件与测试用例文件)。 首先创建数据管理文件 data/data.yml ,代码如下:
然后,创建用例文件名为 test_baidudemo.py ,代码如下:
代码解析:
allure.testcase 用例标识,给定用例的链接,可以与用例的管理地址关联。 allure.feature 功 能模块划分,方便管理和运行测试用例。 allure.step 用来添加测试步骤,在测试报告里面会展示出 来这个步骤说明。 allure.attach.file 测试报告中添加附件 pytest.mark.parametrize 用来参 数化测试用例。
执行:
测试结果图:
测试报告中添加了分类,测试步骤,在每条测试用例中添加了测试用例的链接,截图展示等内容,方便 后续分析定位问题。
搜索微信公众号:TestingStudio 霍格沃兹的干货都很硬核
评论