可信 AI 评估 | 机器学习平台标准解读

在国家“十四五”政策推动下，商业化人工智能软件平台逐渐成为大规模 AI 应用的基础设施。机器学习平台作为商业化人工智能平台的重要组成部分，主要使用传统机器学习方法学习大规模结构化数据中的信息规律，在诸多环节中替代人工进行自动化决策，节省人力物力成本，提升企业经营效率。在金融领域，机器学习平台能够分析交易和市场数据，进行风险评估、投资组合优化和欺诈检测等任务，帮助金融领域提质增效；在零售领域，机器学习平台能够分析销售数据、顾客行为和市场趋势，改进供应链管理、制定更精准的定价策略，提升商业效益。机器学习平台是智能决策、智能营销、智能推荐等智能业务的重要支撑，头部科技企业、AI 创业企业、大数据企业等纷纷推出相关产品，并且已在各行各业广泛使用。

当前机器学习平台在功能层面已达成一定程度的产业共识，但是在功能全面性、标准一致性等方面仍存在部分问题。为有效引导产业有序发展、规范行业自律，并为用户提供选型参考，中国信息通信研究院（以下简称“中国信通院”）牵头，二十余家相关行业重点企业参与，包括腾讯、移动研究院、联通数科、联通软研院、蚂蚁科技、海康威视、九章云极、新讯、星环科技等，联合编制了《面向结构化数据的机器学习平台技术要求和测试方法》标准，该标准已完成团标立项，也同步在中国通信标准化协（CCSA）进行了立项。该标准针对机器学习平台的各个关键环节给出了规范性约束和参考性建议，中国信通院依据标准指标要求推出了“机器学习平台功能专项评估”服务，即日起正式开始启动首轮评估。

一.面向对象

本标准为人工智能行业中从事机器学习平台的提供方和需求方提供了成熟、有序的机器学习平台能力参考框架。为平台提供方提供机器学习平台能力的评价和指导标准，帮助提升开发和交付过程；为平台需求方提供有效衡量平台能力的水平的标准依据，帮助企业提供选型参考。

二.机器学习平台功能专项评估内容

机器学习平台功能专项评估主要包含五个能力域，分别为“数据处理”、“特征工程”、“模型构建”、“模型推理”、“支撑与服务”，各能力域涉及以下核心条目。

1.数据处理

数据接入，评估机器学习平台的数据接入能力，包括接入数据类型、接入数据方式、接入数据的参数配置等；数据预处理，评估机器学习平台的数据处理能力，包括数据清洗、数据采样、数据合并拆分、自定义数据预处理等；数据管理，评估机器学习平台的数据管理能力，包括数据集的操作和管理等。

2.特征工程

特征分析，评估机器学习平台的特征分析能力，包括特征分布统计、特征重要性分析、特征相关性分析、分析结果可视化等；特征选择，评估机器学习平台的特征选择能力，包括基于统计方式选择、基于模型方式选择、基于特征列名方式选择、基于自定义方法选择等；特征处理，评估机器学习平台的特征处理能力，包括连续型变量处理、离散型变量处理、特征变换、特征统计、特征组合等；特征降维，评估机器学习平台的特征降维能力，包括特征线性降维、特征非线性降维、自动编码器降维等；特征管理，评估机器学习平台的特征管理能力，包括特征库管理、特征模板管理等。

3.模型构建

算法管理，评估机器学习平台的算法管理能力，包括预置算法类型、算法操作等；模型开发，评估机器学习平台的模型开发能力，包括开发库、建模方式等；模型训练，评估机器学习平台的模型训练能力，包括训练类型、训练操作、训练优化等；模型评估，评估机器学习平台的模型评估能力，包括评估类型、评估报告、评估可视化等。

4.模型推理

模型管理，评估机器学习平台的模型管理能力，包括模型文件管理，模型操作管理等；模型部署，评估机器学习平台的模型部署能力，包括部署配置、部署管理、部署测试等；模型推理，评估机器学习平台的模型推理能力，包括推理查询、推理操作等；模型更新，评估机器学习平台的模型更新能力，包括定时人工更新模型、定时自动更新模型等。

5.支撑与服务

资源管理，评估机器学习平台的资源管理能力，包括资源类型、资源虚拟化、资源配置等；监控告警，评估机器学习平台的监控告警能力，包括模型性能监控、平台资源监控、告警策略设置等；平台管理，评估机器学习平台的平台管理能力，包括用户身份验证、权限管理、日志采集与存储等。

三.机器学习平台功能参评价值

机器学习平台功能专项评估，面向商业化机器学习平台开展。专项评估基于标准指标要求，对机器学习平台功能进行系统化测试，企业参评的核心价值主要体现在三方面，一是提升业务信任度，通过第三方评估验证机器学习平台的技术产品能力、安全保障能力、运营维护能力等，提供行业认可的背书，帮助业务推广；二是技术对标及提升，通过全面的检验检测，以行业最佳实践作为对标，帮助参评企业完善产品能力；三是增进行业交流，以标准和评估工作搭建交流平台，推动技术亮点分享、实践心得交流，促进技术供给方和应用方之间的交流。

四.评估流程

1、需求沟通：沟通评估需求，明确参评意向；

2、商务确认：对接评估服务，确认项目周期；

3、自评答疑：准备自评材料，组织测前答疑；

4、正式评估：开展材料审查，进行技术测试；

5、专家评审：组织参与评审，答辩专家提问；

6、结果发布：核验证书报告，公开大会发布。

专项评估工作即日起正式启动，评估工作将持续开展，评估结果将分批发布，详情请咨询业务联系人。

五.业务联系人

刘老师

18610124860（微信同号）

liuxingchen@caict.ac.cn