【论文速读】| AutoPT：研究者距离端到端的自动化网络渗透测试还有多远？

基本信息

原文标题：AutoPT: How Far Are We from the End2End Automated Web Penetration Testing?

原文作者：Benlong Wu, Guoqiang Chen, Kejiang Chen, Xiuwei Shang, Jiapeng Han, Yanru He, Weiming Zhang, Nenghai Yu

作者单位：

University of Science and Technology of China, China

QI-ANXIN Technology Research Institute, China

Chaitin Future Technology Co., Ltd, China

关键词：Web 渗透测试、自动化、大语言模型、AI 代理

原文链接：https://arxiv.org/pdf/2411.01236

开源代码：暂无

论文要点

论文简介：本论文聚焦于 Web 渗透测试这一关键安全领域，旨在探讨基于大语言模型（LLMs）的 AI 代理在端到端自动化渗透测试任务中的潜力。研究设计了一个全面的基准测试环境，涵盖现实场景中常见的漏洞类型，以评估 LLM 代理的能力。研究发现，这些代理尽管能够理解渗透测试框架，但在生成准确指令和完成任务流程上仍有明显局限。为此，作者提出了一种基于有限状态机（FSM）原理的解决方案——渗透测试状态机（PSM），并设计了 AutoPT 系统。实验表明，AutoPT 显著提升了任务完成率，同时减少了时间和经济成本，为学术界和工业界带来重要意义。

研究目的：

Web 渗透测试用于模拟真实攻击行为，发现并修复系统漏洞，以防止敏感数据泄露和严重后果。然而，目前大多数渗透测试依赖人工或半自动化工具，过程复杂且耗费资源。针对这一问题，作者希望探索以下研究目标：

1. 建立一个全面、细粒度的基准测试环境，以真实评估 LLM 在端到端自动化渗透测试任务中的表现。

2. 通过设计新型框架（PSM）解决现有代理在自动化过程中遇到的关键挑战，例如指令生成错误、任务上下文管理不足等问题。

3. 评估基于 PSM 的 AutoPT 系统在任务完成率、效率以及成本节约方面的实际效果。

研究贡献：

1. 细粒度基准测试：开发了覆盖 OWASP 前 10 漏洞列表的测试基准，包含 20 个 Docker 环境，可实现对端到端渗透测试任务的公正评估。

2. 新型代理框架与系统：设计了基于 FSM 的渗透测试状态机，并实现了 AutoPT 系统。该架构优化了任务执行效率并提高了成功率。

3. 全面评估：使用 GPT-3.5、GPT-4o 等模型对现有框架和 AutoPT 进行了对比实验，量化分析了 LLM 在渗透测试中的优劣，提出改进方向。

引言

Web 渗透测试已成为保障网络安全的必要手段，其通过模拟真实攻击行为来评估系统的安全性。然而，这一过程通常需要依赖高水平的人类专业知识，且大多数操作尚未完全自动化。现有自动化方法（如规则匹配或深度强化学习）在适应多样化测试环境时表现有限。

论文指出，基于大语言模型的 AI 代理有潜力颠覆传统渗透测试模式。然而，目前的 LLM 代理在执行复杂任务时仍存在生成错误指令、任务停滞等问题。此外，现有的渗透测试基准测试环境大多过于简单，难以反映实际情况。因此，论文提出了一套精细化基准测试方法，覆盖多种漏洞类型，并采用 FSM 方法解决代理在上下文管理与流程控制上的不足。

研究背景

渗透测试的核心是模拟真实攻击以发现系统漏洞，传统方法通常分为六个阶段：计划与侦查、扫描与枚举、漏洞利用、后期处理、报告与建议、复测。然而，这一过程因需要大量工具的协作和知识整合而难以实现全自动化。

近年来，LLM 在多个任务中展现出强大的推理能力，例如代码生成与环境交互，但其在端到端渗透测试中的应用研究尚属初步探索。现有方法，如 PentestGPT，依然需要大量人机交互且缺乏系统性评估。

渗透测试基准

本研究构建了一个细粒度、全面的渗透测试基准，旨在真实评估 LLM 代理在端到端自动化渗透测试中的能力。现有基准测试多存在以下不足：环境规范不清、任务目标模糊，难以量化评估代理的实际表现。为解决这些问题，研究团队设计了一套覆盖 OWASP 前 10 漏洞类型的测试基准，采用 Docker 环境实现一致性，并对每项任务进行精细化标注。

基准测试包含 20 个独立的渗透测试环境，涵盖从简单到复杂的多种任务场景。任务设计基于漏洞利用步骤的数量进行分类：简单任务仅需两步操作即可完成，而复杂任务则需要多步操作，包含信息收集和多阶段漏洞利用。每项任务均定义了明确的完成目标，例如特定文件访问或命令执行结果，确保任务成功与否可以客观判断。

此外，研究通过多轮独立验证，确保基准任务在多种测试环境中的可用性和一致性。这一基准测试不仅为 LLM 代理提供了严谨的评估框架，也为未来的自动化渗透测试研究奠定了基础，为推进领域技术的发展提供了重要支持。

研究动机

随着网络安全威胁的不断增加，Web 渗透测试已成为保障系统安全的重要手段。传统渗透测试通常依赖经验丰富的安全专家手动操作，耗时耗力且对技术水平要求较高，同时难以应对多样化的漏洞环境和复杂的攻击路径。尽管部分自动化工具尝试解决这些问题，但现有方法（如基于规则的工具和深度强化学习模型）在任务适应性和流程完整性方面仍存在明显局限。

近年来，大语言模型（LLMs）在代码生成、任务推理等复杂应用中表现出强大潜力，为实现端到端自动化渗透测试提供了新的可能性。然而，现有研究主要集中于辅助测试，缺乏对 LLM 在完全自动化渗透测试任务中能力的系统性评估。LLM 代理在实际应用中暴露出如任务逻辑混乱、指令生成错误等问题，限制了其广泛使用。

为此，作者提出设计一套细粒度、真实场景驱动的基准测试环境，评估 LLM 代理的实际能力，并通过创新框架解决当前自动化渗透测试的关键瓶颈。这项研究不仅旨在推动渗透测试的自动化，还为 LLM 在网络安全领域的进一步应用提供了有力支持。

研究方法

为解决上述挑战，作者提出了基于有限状态机（FSM）的 PSM 框架，将渗透测试任务分解为五个独立状态：扫描、选择、侦查、利用、验证。通过状态之间的有序跳转，AutoPT 系统不仅提高了任务执行效率，还降低了对模型上下文长度的依赖。系统通过 LangChain 框架实现，包括漏洞扫描、信息收集、命令生成等模块，同时支持可视化状态跳转，大幅提升测试效率和成功率。

研究评估

本研究通过多场景实验全面评估了 AutoPT 系统的性能，结果显示其在任务完成率、效率提升和成本节约方面均取得显著进展。AutoPT 通过基于有限状态机（FSM）的渗透测试状态机（PSM）框架，将复杂任务分解为多个阶段，如扫描、选择、侦查、利用和验证，使得任务完成率从传统方法的 22%提升至 41%。这一优化主要得益于 FSM 对任务流的严格控制，减少了代理执行过程中的逻辑偏差。

此外，AutoPT 的执行效率较传统方法提高 96.7%，在减少代理因上下文管理不足导致的中断方面表现尤为突出。其经济成本显著降低，实验表明 OpenAI API 调用成本减少了 71.6%。在多场景测试中，AutoPT 在简单任务中几乎达到 100%成功率，在复杂任务中也展现了卓越性能。

尽管如此，研究也发现 AutoPT 在命令生成错误和任务循环问题上仍有改进空间。通过失败案例分析，作者提出未来可进一步优化状态跳转逻辑并增强 LLM 的推理能力。整体而言，AutoPT 不仅展现了 LLM 在渗透测试中的巨大潜力，还为该领域的自动化发展提供了切实可行的路径。

论文结论

通过 AutoPT 系统，作者验证了 FSM 方法在端到端渗透测试中的有效性，进一步证明了 LLM 代理在安全领域的广阔前景。未来研究可在增强模型推理能力和完善测试流程细节上展开，推动完全自动化渗透测试的实现。