【论文速读】| 人工智能驱动的网络威胁情报自动化

基本信息

原文标题：AI-Driven Cyber Threat Intelligence Automation

原文作者：Shrit Shah, Fatemeh Khoda Parast

作者单位：加拿大圭尔夫大学计算机科学学院

关键词：网络威胁情报，AI 自动化，攻击技术和策略，持久性威胁

原文链接：https://arxiv.org/pdf/2410.20287

开源代码：暂无

论文要点

论文简介：本文提出了一种利用微软 AI 驱动的安全技术实现工业环境中网络威胁情报（CTI）自动化的新方法。传统 CTI 主要依赖手动方式来收集、分析和解释威胁情报，这不仅耗时且易出错，特别是在快速应对安全威胁的情况下效率低下。通过使用 GPT-4o 等大语言模型和一键微调技术，本研究构建了一种新的 CTI 自动化解决方案，可以在保持情报精度的同时减少人工操作。本方法不仅提升了 CTI 报告生成的速度和准确性，还减少了对专家的依赖，从而在当今动态的威胁环境中占据了重要优势。

研究目的：网络威胁情报（CTI）旨在收集、分析并传播有关当前和潜在网络威胁的信息，以识别威胁指标（IoC）和理解攻击者的战术、技术和程序（TTP）。尽管 CTI 对网络安全至关重要，但目前的情报生成方法仍主要依赖于手动分析和数据合成，这在面对庞大的数据量时极易出现瓶颈。本研究的目的在于探索现有手动 CTI 生成过程的局限性，提出一种基于 AI 的自动化方法，以提高报告的质量、速度和准确性。通过识别 CTI 过程中可自动化的部分，本研究旨在开发更先进的自动 CTI 系统，从而提升威胁应对效率。

引言

网络威胁情报（CTI）一直以来是网络安全防御的核心，依赖手动的数据收集与分析以识别潜在的威胁。然而，传统手动方法不仅费时费力，而且在快速应对复杂威胁方面存在效率低下的问题。例如，CTI 分析员需要从大量的安全日志、威胁信息源等收集数据并手动提取攻击指标（IoC），这一过程往往耗费数天甚至数周的时间。此外，手动处理还增加了错过关键信息或引入错误的风险。不同分析员对威胁数据的解读可能存在差异，导致报告不一致，进而影响对威胁的快速反应。

为了解决这一问题，近年来一些学者提出了将 AI 和自动化技术应用于 CTI 的设想。尽管部分组织仍对完全依赖 AI 的 CTI 方法持怀疑态度，认为 AI 可能会带来误报或无法正确解读复杂威胁信息，但 AI 的应用确实为 CTI 报告生成提供了潜在的优势。本研究旨在探索这些 AI 驱动的自动化方案如何填补手动 CTI 生成的空白，并提出了一种结合微软安全工具的自动化框架，既能降低对人工的依赖，又能提升报告生成的速度与准确性。

当前趋势

近年来，AI 在 CTI 自动化中的应用引起了学术界和工业界的广泛关注。多个研究团队提出了利用自然语言处理（NLP）、信息检索（IR）和机器学习（ML）方法自动提取 CTI 数据的模型。例如，Husari 等人提出的 TTPDrill 模型通过 NLP 和 IR 技术从非结构化 CTI 报告中提取攻击模式，并将其映射到攻击链中。这种自动化工具显著提升了提取威胁技术的精度。而 Zhao 等人则提出了 TIMiner 框架，该框架利用卷积神经网络（CNN）从社交媒体数据中提取 CTI 信息并分类，用于不同领域的威胁检测。

这些 AI 驱动的 CTI 自动化技术主要关注快速、准确地从大量非结构化数据中提取有效的威胁信息，同时构建结构化威胁情报。然而，尽管这些方法在数据提取和处理上表现出色，它们仍然需要具备一定领域知识的专家来实施和调试，难以在没有专家资源的环境中推广应用。

研究方法

本研究设计了一种基于微软生态系统的全自动 CTI 生成方法，主要采用 PowerShell 脚本、Azure Logic Apps、Microsoft Copilot for Security（MCS）和 Azure AI Studio 等技术。整个自动化流程通过 PowerShell 脚本收集用户数据并启动工作流，Azure Logic Apps 分段生成报告，MCS 和 Azure AI 分别负责处理各部分内容。生成的 CTI 报告包括元数据、攻击概览、MITRE 攻击技术摘要、数据提取、工具与恶意软件分析、防御建议和参考文献等七大部分。该框架的设计确保了报告生成的效率和可控性，每个部分内容均经过优化以适应自动化需求。

关键发现

实验评估表明，该自动化框架在生成速度和成本方面相较于手动生成有显著优势。在性能评估方面，研究选取了八种攻击活动并分别用手动和 AI 方法生成报告，通过 BERT 模型和余弦相似度等指标对比报告内容，发现 AI 生成的报告在一致性和精确度上与手动报告基本一致。此外，通过对攻击模式的提取准确性进行测试，结果显示 AI 模型的平均准确率达到了 79%。

研究讨论

AI 驱动的 CTI 自动化方案极大地加速了报告的生成过程，并显著降低了手动操作的需求，然而这一效率提升的同时也带来了成本上的增加，尤其是在计算资源的消耗方面。尽管 AI 生成的报告在一定程度上达到了手动生成报告的标准，但由于生成内容的不稳定性和轻微的不一致，仍需要人工干预来校正并完善报告内容。通过与工业合作伙伴的访谈发现，AI 自动化使得原本需耗费 8 小时的手动报告编写工作减少至 1-2 小时，有效地提高了报告生成效率。

论文结论

本研究提出了一个基于 AI 的网络威胁情报自动化生成架构，成功实现了快速情报共享与提升攻击检测效率的目标。尽管 AI 在生成报告方面表现出色，复杂的技术报告部分仍然需要人工干预，以确保最终报告的精准度和有效性。未来工作将继续扩大数据集范围，以更全面地验证自动化效果，并探索其他威胁类型下的应用表现。同时，研究团队还计划开发一种集成多种 AI 方法与专有安全产品的混合模型，进一步提升 CTI 报告的质量和效率。