深度分享|金融行业模型管理效能提升的规划与思考

随着大数据和分析算法的蓬勃发展，金融机构在营销管理、风险管理和决策支持的过程中，研发了大量模型来支持企业的运营与管理。有些银行已经上线了成百上千甚至更多的模型，从模型开发到管理监控，都需要耗费大量人力与时间，并且存在各种合规和安全风险。如何高效的对模型体系进行统筹管理和整体监控？成为摆在金融机构面前的挑战。

为什么要建立模型管理平台

1 监管机构的合规需求

现状与合规要求存在差距：

1）模型分布在多个平台上，缺乏统一管理和版本跟踪；

2）大量重复的数据处理工作，效率低下，严重浪费系统资源和人力；

3）缺乏标准化的验证体系和文档化，难以合规。缺乏从开发、测试、验证到性能监控的全过程模型管理。

2 建模方式的变革需求

在大数据和智能发展较慢的时候，客户企业内部的模型较少，建模人员数量少，大都是在后台建立起少量模型，管理层可以直接进行管控。

随着业务发展，企业成立了人数众多的建模团队，建模成果正被推向前线。如果不能对其进行统一管理，会直接影响公司的效益。

3 业务部门的效率需求

当银行需要上线的模型越来越多，从模型开发到管理监控，需要耗费大量的人力和时间，涉及到的人员、部门也越来越多时，诸多问题都将显现：

1）缺乏完整的模型管理流程和工具

2）缺乏有效的模型验证、监控工具

3）缺乏功能强大的建模工具

4）缺乏高性能的数据整合平台

5）缺乏系统化的文档管理和自动生成工具

工具、平台的缺失，会带来很多问题，如：

1）难以从模型的整个生命周期进行全方位的统一管理，管理应包括模型开发、验证、监控、部署和管理等多个方面，同时需要提供必要的安全管理机制；

2）难以有效生成模型的验证报告，并能及时跟踪模型的性能变化并予以必要的模型调整或开发新的模型；

3）面对大量的模型开发需求，急需提高模型开发的效率；

4）难以快速高效地进行信息整合，并可以提供多种统计建模方法来发现数据质量问题并进行数据清洗；

5）难以对模型生命周期各个阶段发生的事件进行有效记录和跟踪，而这是新资本协议特别强调的必需功能。 

以上是我们在整个建模过程中的现状和困境，也是我们为什么要建立模型管理平台的原因。

构建模型管理闭环体系的道与术

1 模型管理覆盖的建模阶段

整个建模管理的过程，主要覆盖的是模型阶段是投产上线环节。下图罗列出了整个建模的流程，包括：数据准备、特征工程、模型开发、模型部署几部分。模型管理是对已开发完成的模型资产进行管理，包括对上线模型的评估、测试、监控等。实现对模型的精准管理和监控，防止模型上线混乱，提升了企业管理模型的效率。

2 模型管理覆盖的功能范围

模型监控范围

需求分析，数据获取，数据质量分析、数据变换与选取、预测建模等，这些属于模型部署前或上线前的过程。模型验证、模型部署、结果监控这 3 项是模型管理阶段里要实现的功能。除此之外，还需设置关键节点的审核机制，提高协同工作效率，通过自动化监控的方式可跟踪上线后模型的运行效果。在这个环节，需要实现以下几点：

1）模型管理过程自动化；

2）明确审核轨迹；

3）实现资源的复用性；

4）模型的验证部署，跟踪监控协同工作。

3 模型管理流程

模型管理全流程

模型上线前后的流程细分为 12 个环节。

第一个环节是模型注册，第二个环节是数据注册，在注册完前两步时，模型的代码和模型运行需要的数据同步注册；第三环节进行模型验证，运行验证通过，将进行第四个环节，对模型进行发布处理。

第五环节会有上线操作，会把申请同时提交到审批人，在这一步会走一个审批节点。上线审批通过后，会对模型进行模型部署，部署完成后，在第八环节对模型进行后续测试，也可以理解为模型的评估。之后将会对模型进行监控。

当然，模型在运行过程中可能会因业务需求导致效率下降或者这个业务不再需要模型，将会对模型进行下线处理。下线处理同样需要设置审计节点，审批通过后模型下线，完成十二个环节是把管理的过程走了一个闭环。整个流程在在操作上非常简捷，只在上线、下线环节分别设置一个审批节点，简单化用户的操作性。

管理变革的抓手：新一代模型管理平台

1 索信达管理模型平台

索信达模型管理平台，能够对投产上线的模型进行有效地管理， 包括模型的评估、测试、监控以及版本和权限管理，实现模型管理工作的标准化和平台化，提高上线模型的质量，及时发现模型衰退和数据变化，对模型的历史版本可回溯可追踪，全面掌控企业所有上线模型的情况。

索信达管理平台已上线两个版本，第一个版本平台已构建专题和数据集，以及模型注册上线下线，监控业务完整的优先，通过监控指标的标准化实现上线后的自动化运行。

索信达模型管理平台 1.0：

1）专题的管理：专题是对某一类业务问题的简要描述。

2）数据集的管理：包含训练集、 验证集、监控集， 为模型运行提供所需的数据。

3）模型的管理：支持模型创建、审批和监控。

4）模型事件的消息：记录模型在实时验证、 定时验证、获取评分。

5）提供对模型管理中的各个环节的审批，实现一键审批上下线。索信达模型管理平台 2.0：

模型管理平台 2.0 引入了微服务的架构思想，以“专题-数据集-模型”分层管理为思路，按照分区治理的理念来设计平台功能，简化了审核流程，降低了平台操作的复杂度，提升了平台的可拓展性，可自定义配置的数据权限提升了系统灵活性。

2.0 版平台新增功能

索信达模型管理平台 2.0 和 1.0 相较主要有以下几点升级：

1）“功能更全”：在 1.0 版本的基础之上，丰富了模型管理和数据管理模块的功能，重点聚焦于模型的管理，使平台的功能更加丰满。

2）“分区管理”：将专题、数据、模型等后台数据分为生产区和沙箱区分区保存，分离线上、线下数据，确保生产线的正常运行，降低资损。

3）“可拓展性”：将模型发布为微服务，通过 web services 的方式为企业内外部平台提供轻便灵活的接口服务，提高资源的利用率。

2 模型管理平台建设的意义

1）有效降低模型失控的风险，避免在生产平台上运行明显衰退失效的模型，提高营销绩效，规避错误模型带来的损失。

2）通过有效的权限管理，避免企业的模型资产泄漏，版本管理让回溯追责更加清晰。

3）有效的模型管理，可以倒逼模型开发过程更加完善有效，平台化的管控有助于降低对人员的经验依赖。

索信达模型管理系统凝结了众多行业领先的经验，借鉴了国际上成熟的模型管理知识，能帮助企业快速引入和实施最佳的实践经验。通过集中式、大规模、流水线式的模型管理系统替代依靠人工手动管理模型的手工作坊式管理方式，能帮助企业快速引入和实施最佳实践。