如何在企业数字化团队内部实现分析建模过程全要素的可获得与成果可复现

2022 年 8 月 18 日
上海
本文字数：2328 字
阅读完需：约 8 分钟

随着互联网技术和数字化生存带来的众多商业模式创新，企业不断加速数字化转型，挖掘数据价值、指导业务决策，而高效流畅的协同能力却成为了企业组织管理和数据驱动的瓶颈。

在企业数字化团队内部，由于所需支持的业务条线众多，且发展目标各不相同，因而成员专注于各自独立板块开展工作的情况十分常见。而伴随着企业数字化转型的需求更密集也更复杂，很多基础性的工作可以共建，对于数据的要求也不再是相对独立的、单一的数据展示和资源挖掘，需要更多综合性、交叉性的开发利用，越来越多的数字化团队开始寻求突破，以更协同的形态提高整体效率。在数据研发团队内部建立起横向协同机制，能够大幅提升团队工作效能已成为了共识。

同业务部门相比，数据团队的工作涉及到数据管理、建模分析环境、代码过程文件等众多要素，复杂度更高，若缺乏明确的流转机制，各要素的可获得性和可复现性将成为协同工作的阻碍。下文通过某企业真实案例及对应和鲸科技旗下数据科学协同平台 ModelWhale 所提供的解决方案作深入解析。

欢迎进入ModelWhale 官网注册试用，个人专业版与团队版含更多高阶功能，现可免费试用。
扫描官网右侧二维码，联系 MoMo（移动端也可点此链接）获取更多企业数字化转型定制建议。

“信息孤岛”的困扰

金融公司 A 以量化投资为主营业务。量化投资是指利用计算机技术进行交易的证券投资方法，通过对庞大的历史数据建模分析，海选出能带来超额收益的多种“大概率”事件，持续计算生成定量化的投资信号，自动交易投资。制定量化交易策略的团队即典型的数字化团队。

量化策略具有一定时效性，一旦市场上其他投资者也采取相同的策略或市场环境发生了变化，就可能会导致所带来的超额收益越来越小，因此团队需要持续优化量化投资策略，提高交易速度，使收益最大化。然而目前团队内部存在的一系列“协同问题”给他们造成了困扰。

由于前期各个量化研究员都是独立开展工作，而后续策略的优化，如根据市场信息补充新的数据或使用新的特征等，却需要以之前的工作为基础，这些既有生产资料不仅仅来源于自身，也有可能来源于团队内的其他人。前期形成的“信息孤岛”导致团队成员后期在获取他人的数据和模型时频繁出现数据版本错误或代码版本错误等情况。同时，所使用的编程语言、版本模块不同形成的研究环境差异，也给复现造成了困难。数据、环境、代码三要素难以同步获得与复现，严重拖缓了投资决策，让 A 公司错过了很多稍纵即逝的市场机会。

ModelWhale 的解决方案

作为数据科学云平台，ModelWhale 由点及面，帮助量化团队解决了制定策略时全要素的内部协同问题。

首先，每个研究员都可以通过平台自由调取存放在数据库、对象存储以及 NAS 空间的各类数据，或者根据分析需要上传本地的数据集开展策略研究。团队的数据管理员可将各个成员的数据需求与其所在部门或策略小组相结合，将数据定向分发，并灵活设置每个人使用、下载的权限。如果某个研究员在其后续的策略优化过程中为数据集增加了新的特性，可以生成新的数据版本，则团队内部其他成员也能够根据分析需要选择特定的数据版本建模分析。在后期进行策略的持续迭代时，数据版本的选定即可快速统一，减少了成员间的沟通成本，也避免产生数据偏差。

其次，量化研究员除了可以使用平台预置的分析环境外，还可以根据需要，利用表单、Bash 指令等方式构建自定义分析环境。所构建的自定义镜像环境皆可一键分享给团队内的其他成员使用，管理员也可以配置统一的镜像在团队内部共享。ModelWhale 会自动记录每一次代码运行时的镜像环境，当成员需要合作训练模型或在他人的策略之上进行优化时，所使用的分析环境将自动匹配，实现快速复现。

此外，量化研究员在分析建模时，每取得一部分阶段性成果即可将其保存为一个版本，并备注下版本的关键信息，则后续即使再与他人合作编辑，也依然能找回自己已有的历史版本。通过版本间对比，研究者可以快速查阅他人对于代码的“增”、“删”、“改”的情况，或是接受修改，或是文件级退回或 Cell 级回溯实现快速还原，全部修订完成后也可生成新的版本，为后续的工作打下基础。