10 亿数据秒级查询,西南证券与镜舟科技合作,构建极速、高效数据平台
《金融科技发展规划(2022-2025 年)》明确了高质量推进金融数字化转型的总体思路,云计算、人工智能等新兴技术开始被广泛应用,提升金融服务的便捷性,但随着日益增长的数据体量,数据的存储和处理能力日渐。数据的金融机构需要加强数据能力建设、完善数据中心建设,并构建健全的数字安全生态。
在金融行业的数字化转型浪潮中,西南证券凭借其深厚的行业经验和前瞻性视野,与镜舟科技一起,构建一个高效、稳定且易于维护的用户运营分析系统,以满足日益增长的业务需求。
西南证券 X 镜舟科技—金融科技数字化创新篇章
西南证券,作为中国最早的证券公司之一,自 1988 年成立以来,一直以其多元化的业务和稳健的经营策略,为客户提供全面的金融服务。2022 年,公司实现了 23.29 亿元的营收和 5.99 亿元的净利润,资产总额达到 846.75 亿元。
挑战:在数据洪流中的调整航向
随着业务的快速发展,西南证券的用户运营分析系统遇到了以下挑战:
1. 现有的 Oracle 报表平台在并发和查询性能上无法满足日益增长的业务需求,尤其是在处理 10 亿级别数据量时表现不佳;
2. 使用 Impala 进行的作业执行存在资源抢占问题,影响了整体的数据处理效率;
3. 业务团队和大数据团队使用多套系统,系统架构中包括 Doris、Impala 和 Oracle 等多个组件,增加了运维的复杂性和难度。
解决方案:技术融合与现代化改造
西南证券在经过调研选型以及 POC 测试后,选择与镜舟科技合作,通过以下方式解决上述挑战:
1. 数据导入与处理:数据通过实时和离线的方式导入 StarRocks,确保了数据处理的灵活性和实时性。
2.宽表与窄表的划分:在 StarRocks 中根据业务逻辑进行数据表的合理划分,优化了数据结构,提高了查询效率。
相较于之前,升级后的系统架构更简洁、业务赋能的范围更广、查询与分析性能更加优秀。
应用场景:多维度的洞察支撑
股票维度分析:对 5000 多只股票进行多维度分析,深入挖掘市场动态。
客户维度分析:包括客户账户分析、资产分析、盈亏分析以及登入日志分析,全面了解客户需求和行为。
机构维度分析:评估各分支机构的运营状况,包括每月的成交流水和委托流水等关键指标。
收益:性能飞跃与成本优化
1. 查询性能显著提升
StarRocks 系统使得原本在 Oracle 中无法完成的 10 亿数据查询任务,在 10 秒内即可得出结果。
2. 运维成本大幅降低
通过统一的 StarRocks 架构,简化了原本需要维护多套产品的复杂性,降低了运维成本。
金融行业的数字化转型是一个复杂而长期的过程,作为 StarRocks 在国内唯一的商业化公司,镜舟科技将继续与更多金融企业一起携手,挖掘更多数字化转型过程中的创新场景,通过技术创新,提升全企业上下从一线业务到全盘经营的数据应用效率。
评论