GUI Agent 是一种基于多模态感知和大语言模型驱动的 AI 系统，能够通过自然语言指令在电脑/移动端实现自动化操作，如点击、输入、滑动等，从而完成复杂任务。其核心能力依赖于对用户交互行为轨迹的精准理解和执行，需要大量高质量的训练数据来支撑。

近期，“开启 AI 智能体新时代”的 Manus，凭借高效的界面操作能力和精准的任务执行表现，迅速成为行业焦点。在该领域，OpenAI 等科技巨头纷纷推出如 Operator、UI-TARS、AutoGLM 等 GUI Agent 相关产品，能够通过指令在电脑或手机端实现智能交互，自动化执行点击、输入等任务。

只有通过精准采集用户与界面的交互数据，才能训练出能够理解复杂指令、适应不同场景的 Agent，从而提升用户体验和任务执行效率。因此，高质量的数据采集对于 Agent 的性能提升至关重要。数据的准确性、多样性和场景覆盖度直接决定了 Agent 的智能化水平和泛化能力。为此，澳鹏团队开发了全新的 GUI Tracker 采集工具，专为 AI 开发者提供 GUI 交互数据解决方案。

该工具能够精准采集 PC 端和移动端的操作语义，覆盖从点击、滑动到复杂指令执行的全流程数据，为 GUI Agent 的训练和优化提供有力的数据支持。

场景化标注体系

支持自定义人物指令/标签(电商下单/行程制定等）

澳鹏 GUI Tracker 实现了从「微观行为操作」到「宏观任务意图」的语义升维。用户可以自定义轨迹采集指令（例如，“在 Github 中查找有关 Deepseek 的星标最多的项目”，通过将任务指令拆解为微观操作步骤，如进入 Github 官网→打开搜索框→输入 Deepseek→点击“搜索”等），建立「宏观任务→微观动作」的映射关系，并记录每个动作的轨迹细节。

这一功能为 AI Agent 的训练提供结构化的场景化数据，使其能够更好地理解复杂任务背后的逻辑链条，从而提升任务执行的准确性和智能化水平。

多层级语义交互

屏幕截取、触控轨迹、系统级事件日志

澳鹏 GUI Tracker 工具采用「视觉-行为-系统」三维数据捕获技术，全面支持鼠标（左/右键点击、双击、拖拽、滑动）、键盘（单键、组合键）、手机屏（滑动、点击）等多种交互方式的数据采集。通过将用户行为与界面属性深度绑定，构建「动作→控件→响应」的语义图谱，帮助 Agent 实现“看到按钮→理解功能→执行动作”的智能决策闭环。

这一功能不仅能够精准捕捉用户与界面的交互细节，还能为 Agent 的训练提供多维度、高精度的数据支持，助力开发者打造更智能、更高效的 GUI Agent 应用。

多端标注

支持 PC 端和移动端的指令采集

澳鹏 GUI Tracker 全面支持「电脑端、手机端、平板电脑」的多端数据采集任务。无论是 PC 端的鼠标轨迹、键盘输入，还是移动端的触控点击、滑动操作，工具都能精准捕捉并标注，确保跨平台交互数据的完整性和一致性。

这一功能为开发者提供了无缝多端数据支持，帮助构建适用于多种设备的 GUI Agent 应用，满足用户在不同场景下的智能化需求，进一步提升 Agent 的泛化能力和实用性。

GUI Tracker 应用场景包括：

训练工业级 GUI Agent：传统 RPA 依赖固定脚本，而 GUI Agent 结合语音指令与视觉数据，能够灵活处理复杂的长流程任务，如供应链管理、设备监控等，推动工业自动化向智能化升级。

学术研究支持：为学术界提供高质量、多样化的 GUI 交互数据集，支持人机交互、认知科学、AI 训练等研究方向，并通过量化用户操作路径，助力科研创新与理论突破。

辅助日常工作、学习与生活：GUI Agent 可高效完成办公场景中的复制、导出、报告生成等操作，节省机械性工作时间；支持跨平台资料收集与整合；还能辅助日常电商选购、下单等任务，提升生活效率。

GUI Tracker 采集工具，能够自动截取、记录用户行为操作事件，无需手动干预，显著提升大模型项目的采集效率与准确率。澳鹏始终致力于通过 AI 赋能数据采标的全生命周期，提升数据生产效率，充分给予 AI 应用开发以数据养料，从而为更多场景 AI 应用的大规模落地提供有力支持。