写点什么

国际标准组织共聚,智源推动全球 AI 开源与国际标准双轮驱动人工智能普惠化发展

作者:智源研究院
  • 2025-07-29
    北京
  • 本文字数:2453 字

    阅读完需:约 8 分钟

国际标准组织共聚,智源推动全球AI开源与国际标准双轮驱动人工智能普惠化发展

7 月 26 日,人工智能标准化国际合作论坛在上海召开。该论坛由联合国工业发展组织全球工业人工智能联盟卓越中心主办,中国电子技术标准化研究院、上海人工智能研究院承办,工业和信息化部副部长单忠德、国家市场监督管理总局标准创新管理司司长肖寒、国际标准化组织主席曹诚焕(ISO President, Sung Hwan Cho)、国际电信联盟电信标准化局副局长比莱尔·贾穆西(ITU Standardization Bureau, Deputy Director, Bilel Jamoussi)、欧洲标准化委员会及欧洲电工标准化委员会第 21 联合技术委员会主席塞巴斯蒂安·哈勒斯莱本(CEN-CENELEC JTC21, Sebastian Hallensleben)、中国电子技术标准化研究院院长杨旭东、智源研究院副院长兼总工程师林咏华等嘉宾受邀发表主题演讲。




在大会上,ISO 国际标准主席曹诚焕介绍了人工智能国际标准化工作现状及人工智能治理、安全等方面的未来发展趋势,为未来标准推动人工智能安全、负责任、可信应用指出了方向和重点。ITU 国际标准副局长 Bilel Jamoussi 肯定了中国组织在标准化活动中的贡献及在创新应用上的成果,并展望了全球各国在未来人工智能标准化领域的合作前景。同时,代表欧盟 Sebastian Hallensleben 介绍了欧盟标准制定工作。

倡导全球开源与国际标准双轮驱动

智源研究院一直致力于人工智能的全球开源合作,也积极参与国际标准的技术建设。林咏华表示,全球开源合作和国际标准可以形成双轮驱动,促进人工智能普惠发展。


一方面,在大模型时代,开源合作非常重要。首先,由于大模型创新成本高昂,开源能让更多企业基于开源技术进行 “迭代式” 创新,而非重复投入造轮子,节省时间和金钱;其次,单一组织已经无法单独产生大模型开发所需要的全部重要资源,例如海量训练数据、全面的基准测试(体系),这些资源都需要依靠开源社区的合作来获取;最后,统一且协作的开源技术生态对于各类底层创新(如人工智能中的各种硬件系统)的成功将非常重要 。因此,通过开源实现资源共享,达成全球协作,是实现创新的重要途径。


另一方面,通过制定国际标准达成全球技术共识,可以促进系统互通、资源共享,降低接口、格式不一致的情况,从而减少各种 N*M 的复杂适配,同时推动产业在共同的“语境”下进行评估和对比,助力全球 AI 生态建设。


智源研究院在 Open Data、Open Model 以及 OpenCompute 方面践行以上的开源和标准的双轮驱动工作。以下为两个例子。


ITU-T 国际标准立项草案:FlagCX 统一通信库助力跨芯互联互通

在 Open Compute 方面,割裂的软件生态已经成为了不同 AI 芯片大范围落地产业的重要障碍,因此,智源研究院联合生态合作伙伴联合开发了面向多种 AI 芯片的开源、统一系统软件栈 FlagOS。其中,面向多种 AI 芯片的开源统一通信库 FlagCX 是 FlagOS 的重要组成部分,主要是用来解决各个 AI 芯片厂商的通信库各异的问题,具体表现为以下四个方面:


(1)不同厂商的通信库各异,导致针对通信算法的实现与优化不具备通用性和自适应性;

(2)不同芯片通信库缺乏统一接口和协议,导致跨芯高速互联开发和优化难度大,难以实现算力高效聚合;

(3)大模型训练与推理创新技术显著提高对通信灵活性,稀疏性与动态性要求,现有通信库难以满足;

(4)现有通信库难以满足多智能体通信以及端云协同计算场景要求通信系统所具备的高扩展性,低时延,可靠性等功能。


为了解决上述问题,智源研究院在 2024 年 12 月开源了 FlagCX 统一通信库的首个版本实现,基于该开源项目,吸引了多家芯片厂商、及软件团队的适配、代码贡献、和性能验证。


得益于开源项目的积淀,智源研究院得以联合通信库生态链上下游芯片厂商、框架厂商、服务器厂商以及运营商等,在中国电子技术标准化研究院的指导下,联合共建国内标准《人工智能统一通信库接口规范》,在此基础上积极推动国际标准 ITU-T《面向分布式多媒体人工智能系统的跨平台统一通信库要求与框架》的立项工作。


目前,该标准已获得中国信通院、中国电子技术标准化研究院、华为、百度、中国科学院计算技术研究所、中国电信、国家电网有限公司、中国联通、中国移动、浪潮等众多机构的支持。


上述国内及国际标准将进一步促进全球行业内统一通信库支持跨芯片通信互联,实现异构系统高效协作;对通信算法进行自适应优化,提升整体系统通信性能;降低新硬件和通信协议的集成与适配成本;支持灵活动态的通信模式,满足现代 AI 工作负载的多样化需求等关键能力的发展。

IEEE P3419 标准:FlagEval 大模型评测丈量模型能力边界

大模型评测对评估大模型训练/微调过程中的各种技术贡献、对多个模型之间进行公平对比、并对技术领域总体进展进行可量化跟踪都十分重要。为此,智源研究院在 2023 年牵头了 IEEE P3419《大语言模型评测》国际标准的建设。


IEEE P3419 国际标准构建了三维评测框架,包含基础能力、高级能力和安全能力 3 个一级维度,下设 13 个二级维度和 39 个三级维度。标准内容涵盖评测数据集的构建原则(包括单条评测数据的构建原则、评测数据集的构建原则及组成)、评测指标(准确性、效率、可信度等)以及评测过程(包括评测目标的定义、推理环境和执行配置以及评分机制和结果判定等)。


依托 IEEE P3419 标准,智源研究院携手多家合作伙伴,成功构建起以 FlagEval 为核心的多元化开源大模型评测工具及开放平台矩阵。FlagEval 平台及 HuggingFace 平台发布了多领域、多维度、多语言、多形式的 leaderboard ,累计完成 900+个主流大模型评测,为行业提供有益参考。


目前,该标准已获得中国科学技术大学、鹏城实验室、中国移动、中国信通院、百度、联想、腾讯、Intel、中国南方电网、中国电信、国家电网有限公司、中国联通、浪潮等众多机构的支持。


基于以 FlagEval 为核心的开源大模型评测工具和开放平台,为制定大模型评估标准提供全面、客观的依据,从而推动大模型评测体系的完善与发展,助力大模型技术在各领域的创新应用与持续进步。


智源研究院在统一通信库与大模型评测两大技术领域,积极推进开源合作与国际标准建设,通过全球开源促进技术共享,通过国际标准凝聚共识、实现互通。以双轮驱动,进一步降低人工智能的使用和创新门槛,加速新技术的产业落地,助力人工智能普惠化发展。

用户头像

还未添加个人签名 2024-05-11 加入

北京智源人工智能研究院聚焦人工智能原始创新和核心技术,推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破,支撑北京建设成为全球人工智能学术思想、基础理论、顶尖人才、企业创新和发展政策的源头

评论

发布
暂无评论
国际标准组织共聚,智源推动全球AI开源与国际标准双轮驱动人工智能普惠化发展_智源研究院_InfoQ写作社区