【案例】星环科技助力华夏基金大数据平台建设

项目背景

华夏基金管理有限公司是经中国证监会批准成立的全国性基金管理公司之一，成立于 1998 年 4 月 9 日。2020 年，华夏基金实现营业收入人民币 55.39 亿元，较 2019 年增长 39.26%；净利润人民币 15.9 亿元，同比增长 33.02%。

华夏基金处于业务发展的新阶段，新业务模式的创新离不开数据的支持，也对数据服务的总体能力提出了新要求。基于大数据技术，整合现有数据，接入外部数据，构建处理能力更强、更易扩展、性能更高的一站式大数据平台，不仅可以满足高计算、高存储、高负载的要求，还能实现海量多源异构数据的存储、清洗、加工、建模和分析等功能，增强数据平台的水平扩展能力，提升数据处理能力，形成企业级集中数据存储，加快数据应用开发进程，孵化基于大数据的创新应用，为进一步尝试人工智能研发创造了基础。

问题与需求

作为基金行业常年的头部公司，华夏基金的个人客户达到 1.6 亿户，每天交易数据量巨大，对于数据的处理效率和性能要求高，原有的数据库将无法提供足够的算力算法支持；

未来的基金业发展将不断深化，以满足日益增多的高净值客户对多元业务的个性化需求，私人理财计划、家族财富管理、全球资产配置等将成为未来基金业发展的重点。同时也面临对于每个客户的精细化、量化管理需求，亟需建立强大的底层数据平台，提供算力、算法的支撑，为营销和投研方面带来更大收益。

多年的业务发展积累了大量历史数据，目前华夏基金对历史数据的利用率不高，可通过大数据平台整合多源异构及内外部数据，打通原有不完整、数据规模较小的数据孤岛，构建完整的营销数据集市。通过人工智能平台的智能标签管理系统，构建动态的客户画像体系，让业务人员根据不同营销需求，针对不同客户进行精准产品推送。

随着用户数量与信息获取渠道的增多，为挖掘半结构化数据的潜在价值，亟待使用自然语言处理+知识图谱技术来解决复杂文本的逻辑推理问题。

解决方案

针对华夏基金当前痛点与需求，星环科技基于 TDH 和 TDS 为其搭建了大数据平台，具体架构图如下：

图 1：华夏基金大数据平台架构图

基于星环科技的极速大数据平台 TDH 及大数据开发工具 TDS，融合了 TA（TransferAgent 开放式基金登记过户）系统、OTS（Online Trading System 网上交易）系统、反洗钱系统、会计系统、资讯系统、交易系统及直销和代销数据，为营销数据中心、反洗钱系统、投研指标系统、数据分析等业务应用建立了数仓、数集及专用库，对投研指标系统相关数据进行了迁移与整合，为华夏基金构建基于大数据等技术的统一分析数仓打下了平台基础。

星环产品优势

作为成熟的商业化大数据平台，TDH 在产品易用性和性能上有比较明显的优势：

统一的 SQL 引擎几乎完全兼容 Oracle 语法，为数据仓库降低了开发和迁移门槛；

简单便捷的运维管理和用户安全管理平台，使用户安全及数据安全得到保障。

作为具备数据处理全生命周期的大数据开发工具而言，TDS 在开发能力及兼容性上均有较大优势：

具备任务调度 Workflow、大数据整合及集成 Transporter、数据库开发 Waterdrop 等 TDS 开发工具的加持，使得产品生态更完善；

除自身具备完善的开发工具外，TDS 也很好地兼容和对接了客户现场的系统，对于业务人员的开发体验更加友好；

此外，基于星环原厂技术团队服务和技术解决方案为本项目提供了技术和服务保障。

物理架构优势

服务高可用

大数据平台部署多个管理节点（Name Node），互为主备，保证平台服务高可用性。

数据高可用

数据节点均部署分布式文件系统，数据采用 3 副本形式进行存储，各副本分散在不同的数据节点上，保证数据高可用性。

存储高效

大数据平台中的数据主要以 T-ORC 和 ORC 形式进行存储，两种格式具备 5-7 倍的压缩比，能够在数据 3 副本的情况下保证数据存储的高效性。

计算高效

数据节点均部署分析性数据库等计算组件，执行数据任务时可充分利用集群算力，实现数据计算的高效性。

实施成效

星环科技的极速大数据平台提供了强大的算力、算法支持，完成了 TA、OTS、反洗钱、会计、资讯 6 个系统的持仓、交易等数据的采集，共约 220 张表，总共近 20 年、18TB 的存量数据，支撑了华夏基金 1.6 亿个人用户的数据，有效保障了华夏基金业务的快速稳定运行。具体应用能力如下：

集群支撑每天 Workflow 157 个工作流的日常调度，完成每天 100GB 的增量数据加载和处理，能随着数据量的增长动态在线扩展节点，无节点个数限制，集群总体处理性能随节点个数的增加线性提升；

支持通过 JDBC 接口和挂外表的方式做数据加载；

支持作业并发，支持任务优先级管理，可以设置多个不同优先级的任务队列，保证优先级高的任务提交后能快速响应。

除了支撑销售数据中心迁移，TDH 大数据平台还支撑起华夏基金其他系统的平台的建设，如反洗钱系统（AML）、投研指标系统等。

总结与展望

星环科技大数据平台助力华夏基金完成了销售数据仓库模型建设、开发了反洗钱系统相关模型、投研指标系统相关数据（DWS 层、DWB 层、DWD 层等）、数据分析人员专用库等迁移与整合，为华夏基金构建基于大数据技术等统一分析数仓打下了基础。未来，华夏基金还将充分利用人工智能、容器云、知识图谱、实时计算、异构计算等技术，面向下一代资管行业在智能营销、智能投研、智能风控方向打造统一的资管数据中台和算法中台，夯实智能底座，趋动数据创新。

原文链接：【案例】星环科技助力华夏基金大数据平台建设