给 API 测试智能体投喂什么，才能避免“垃圾进、废品出”？｜DevChat Tester 产品手记

在上一篇产品手记中，我们聊了 DevChat Tester 为何将 API 测试作为 AI 赋能研发的“黄金切入点”，以及我们选择“Agent 模式”直接交付可执行测试脚本，而非停留在对话辅助层面的深层考量。

然而，要让 AI agent 真正做到“自主”交付高质量的结果，我们必须直面一个核心问题：它究竟需要什么样的“燃料”才能高效、可靠地运行？毕竟，AI 大模型的能力再强悍，也逃不脱那句经典的“Garbage in, garbage out”定律。如果给它投喂一堆模糊不清、过时或错误的信息，即使是最强的大模型，也只会产出“电子垃圾”。那么，在 API 测试这个具体场景下，我们的 AI 智能体采用什么样的输入和输出，才能交付最优质的测试用例和代码？

可编辑的文本用例，也是下一轮生成的高质量输入

接口自动化测试的最终交付物是可运行的测试脚本。这也是 Tester 的重要输出内容，但 Tester 不只是简单地把代码交给用户。在与大量用户进行深入访谈和早期种子用户测试时，我们很快发现 QA 团队实际上可以细分为两类用户群：

• A 类：会写代码的测试开发工程师。日常基于 IDE 开发测试脚本。

• B 类：不熟悉代码的功能测试人员。日常更多做黑盒测试，接口测试依赖可视化平台，通过 UI 化的配置来进行测试设计。一般的测试外包也以这类人群为主。

要让 Tester 被广泛使用，就必须大幅降低 B 类用户的使用门槛。如果只提供冰冷的代码，对于不熟悉编程的他们来说，学习成本高昂，难以快速上手。因此 Tester 除了生成代码，还会生成一份 ‘文本用例’，即自然语言描述的测试点、数据准备、步骤、数据清理等。它可以被视作对测试脚本的解释，方便 B 类 QA 用户理解代码。

你或许会问：“为什么不把文本用例写成代码注释？ ”

问题的关键来了：在我们的设计里，文本用例不是单纯的输出说明，而是可被评审与修改的中间产物，能反向作为下一轮生成的高质量输入，从而持续提升测试脚本的质量。

代码注释能解决 B 类用户的代码理解问题，却难以作为新的结构化输入参与代码调整，即下一轮生成。想象一个场景：一位测试工程师读了代码注释，发现测试脚本有问题，他该怎么调整代码？直接去修改那段由 AI 生成的 Python 代码吗？难免会陷入到编程语法、调试环境、依赖管理等等一系列复杂的细节中，反而失去了 AI 提效的初衷。最终，这个测试脚本也可能会因为难以维护而被废弃，AI 的价值也随之流失。

文本用例的引入能很好地解决这个问题。它独立于代码，用户可以直接修改，然后基于修改后的文本重新生成最新的测试脚本。文本用例不再只是测试脚本的语义化解释，更是新的输入来源。这一设计，有效降低了 AI 测试的门槛，让更多非编程背景的测试人员也能把 Tester 用起来。这与最近兴起的“规格驱动开发”（spec-driven development）模式不谋而合，未来甚至程序员都不用编码了，而是写文本规格说明，剩下的都交给 AI 智能体。

人工输入依然需要，API 文档 + 调用日志是黄金组合

要生成高质量测试用例，就要输入高质量的信息源。在用户实际使用 Tester 的过程中，我们发现 API 文档常常存在定义缺失、示例不全、信息过时等问题。这让我们意识到，仅仅依赖 API 文档，AI 智能体很难生成出真正可靠、可用的测试用例。因此必须引入额外的知识源。

我们对比了人工输入、调用日志、历史代码等来源，从获取成本、分析难度和可用性三个维度评分。结果表明：人工输入和调用日志最优。

因此，在 v2.4、v2.5 和 v2.6 三个版本的迭代中，Tester 重点支持了 “人工补充” 和“日志导入”功能：

• 人工补充：用户可以确认和反馈 AI 通过分析文档和在测试环境中实际调用 API 自主学习总结的知识点，同时能够灵活地输入额外的业务上下文、数据要求等关键信息。

• 日志导入：系统可分析 API 调用日志自动挖掘和积累知识，经用户确认后进入知识库，提升后续的生成成功率。

这一操作让 DevChat Tester 不再受限于接口文档的局限，而是能从更多数据中汲取养料，从而生成更贴近真实业务场景、更高质量的测试用例和脚本。在此基础上，我们正努力让 AI 拥有“经验”和“洞察力”，让它能够像一位经验丰富的测试专家一样思考。

结语

两篇产品手记中提到的诸多设计选择，都是想要将 DevChat Tester 打造成一个能产出更多业务价值的智能伙伴。希望能借此将 QA 测试的焦点从繁琐的代码编写和维护，拉回到对业务逻辑的深层理解，也将测试工程师从重复劳动中解放出来，让他们能够将宝贵的精力倾注于更具策略性和创造性的设计与验证工作。这正是我们对研发落地 AI “最短路径”的理解。

当然，让 AI 真正成为测试团队的“得力干将”，仅仅做好输入输出还远不够。下一篇，我们将更深入地探讨 API 测试智能体的架构和工作流程，敬请期待！

DevChat Tester 已开通个人试用通道，免费试用，还有好礼相赠。点击官网链接即可自行部署：https://tester.merico.cn/