CCF-CV 企业交流会—走进合合信息顺利举办，打造大模型时代的可信 AI

近期，《咬文嚼字》杂志发布了 2024 年度十大流行语，“智能向善”位列其中，过去一年时间里，深度伪造、AI 诈骗等话题屡次登上热搜，AI 技术“野蛮生长”引发公众担忧。今年 9 月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，指出人工智能既面临自身技术缺陷、不足带来的内生风险，也面临不当使用、滥用甚至恶意利用带来的外部风险。

为探寻 AI 安全治理道路，近期，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信 AI》论坛（简称“论坛”）顺利举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们，从立法、监管、前沿研究、技术实践等多个维度分享 AI 安全领域的最新进展，助力 AI 向善发展。

图说：《打造大模型时代的可信 AI》分享嘉宾合影

图说：中国计算机学会计算机视觉专委会副秘书长潘金山博士致辞

AI 安全治理框架：技术手段与规范管理并行

随着以 ChatGPT 为代表的 AI 大语言模型技术飞速发展，关于数据安全、知识产权、算法偏见和有害内容生成等大语言模型的内容安全问题引发了社会关注。“安全是个抽象概念，安全对齐的过程是一个从抽象到具体的模拟过程。”论坛上，上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模型训练过程，提出了“训练对齐、提示引导和文本过滤”三大安全保障手段，助力抽象的安全概念落实到具体的技术研发流程中。

图说：上海交通大学人工智能研究院教授、总工程师金耀辉进行《智能共生时代：平衡生成式 AI 的创新与风险》主题分享

规范标准是 AI 健康生长的外部力量。中国电子标准院网安中心测评实验室副主任、CCIA 数安委常务副主任何延哲认为，人工智能安全检测目前还主要停留在内容安全层面，检测方法比较单一。他将人工智能安全检测评估划分为算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全、科技伦理安全六方面，形成综合评估框架，为标准引领技术发展方向提供可行性参考。

图说：电子标准院网安中心测评实验室副主任、CCIA 数安委常务副主任何延哲进行《人工智能安全检测评估的逻辑和要点》主题分享

技术实践：“看不见”的 AI 让伪造痕迹被看见

12 月 10 日，Open AI 正式向用户开放 AI 视频生成模型 Sora。以 Sora 为代表的 AI 工具在给图像视频行业带来革新的同时，也引发了合成图像伪造风险。中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象，从主动防御和被动检测两个视角分享了具体治理方案。

谢洪涛提到，主动防御用于在视频生成或传播过程中加入前置保护措施，例如采用双重水印技术，给人脸图像加上“看不见”的鲁棒性水印与半脆弱性水印，方便后续取证；被动检测包括图像级不一致性和时空身份不一致性检测技术，用于在视频传播或使用后评估其真实性。

除了视频外，图像作为常见的数字内容资料形式，更容易被不法分子进行局部或全域生成式篡改。合合信息图像算法研发总监郭丰俊表示，合合信息技术团队基于数据驱动的神经网络模型，推出了行业领先水平的图像篡改检测方案，可提取篡改留下的细微痕迹，检测出多种篡改形式，在近年的 2 次国际性技术竞赛中获得冠军。当前文档类图像篡改检测仍然面临诸多挑战，如跨域泛化检测性能低下，纯色背景篡改检测准确率较低，压缩、传输等动作导致图像质量退化，致使检测性能下降等系列问题。大模型技术的出现为 AI 视觉安全的发展创造了新的可能，也为应对检测泛化能力和抗攻击能力的挑战提供了契机。

图说：合合信息图像算法研发总监郭丰俊进行《视觉内容安全技术的前沿进展与应用》主题分享

人工智能鉴别与合成技术相互博弈，密不可分。中国科学院自动化研究所研究员、IEEE/IAPR Fellow 赫然博士从深度合成技术出发，详细分析了虚拟身份、身份重演和人脸驱动三种合成技术类型。他表示，深度合成技术的深入研究为鉴别提供了线索，例如模型指纹线索、图像拼接线索和时序闪烁线索等，形成多模态多线索的鉴伪方法，并有针对性地提出了图像鉴别方案，包括基于空频域信息和提示学习结合的伪造鉴别方法、基于 transformer 的视频鉴别方法等。

图说：中国科学院自动化研究所研究员、IEEE/IAPR Fellow 赫然进行《生成式人工智能安全与治理》主题分享

生成式人工智能发展日新月异，技术革新与安全治理缺一不可，面对 AI 的潜在风险，加强行业内部自律，从源头做好安全措施是守护 AI 健康成长的第一道防线。本次活动是产学研联合探索 AI 安全治理的一次有效尝试。未来，合合信息会持续深耕 AI 视觉安全领域，积极推动行业合作与交流。