实战丨证券 HTAP 混合业务场景的难点问题应对

导读

某领先的全国性大型综合证券公司，坚持以核心业务为发展重心，并积极投身于前沿科技的应用创新。本文将分享该证券公司债权开放信息平台的构建经验，深入探讨如何利用 TiDB 分布式数据库成功应对 HTAP 场景下的挑战，满足数据实时性、可靠性、资源隔离、可维护性等要求。

通过这一实践案例，我们可以看到 TiDB 如何在金融服务领域发挥关键作用，以及它如何帮助企业在激烈的市场竞争中保持领先地位。

债权开放信息平台是该公司推出的特色服务，为客户提供国债、地方债等利率债以及经专业信用评级审核的高等级公司债等信用债的直接买卖渠道。该业务平台面向机构、企业、个人等客户，支持客户自主操作并自担风险。业务系统的主要特点是高并发 OLTP 交易业务与实时清算等类 OLAP 业务的混合，形成了 HTAP 新型混合业务场景。这一场景不仅要求系统能够处理高并发查询、复杂事务逻辑，还要能够高效执行大批量数据的 Merge 和 Update 操作，以及历史数据的高耗时查询和高频率批处理业务数据分析。

债权开放信息平台对数据库选型的要求包括：确保高可用性和高吞吐量，支持 HTAP 以处理事务和分析查询，易于维护以降低运维成本，拥有良好的生态友好性以促进集成，具备水平扩展能力以适应业务增长，同时在扩展和维护过程中尽量减少对业务的侵入。在满足 HTAP 新型业务场景需求的基础上，还期望数据库解决以下难点问题：

• 数据同步的实时性：业务对数据实时性要求高，需要保证 OLTP 和 OLAP 业务之间的数据实时协同；

• 业务之间的资源隔离：对 OLTP 和 OLAP 业务的资源进行灵活的隔离和限制，避免业务之间的互相干扰；

• 分布式数据库的运维：熟悉集中式数据库的 DBA 面对新型的分布式数据库，遇到问题如何快速解决。

在对多家数据库厂商的产品进行功能、性能、稳定性等方面的选型测试后，该证券公司最终选择了 TiDB 分布式数据库来支撑债权开放信息平台的 HTAP 混合业务场景。从 2020 年选型测试开始，经过多轮功能验证、分阶段性能优化、故障切换演练等，目前已成功投产上线。

该证券公司采用了两中心灾备架构部署 TiDB，利用 TiCDC 异步复制特性搭建一套容灾集群，准实时地将 TiDB 生产集群的数据同步到容灾集群，满足金融机构对极致的 RPO 和 RTO 的要求。生产集群内部任意节点的宕机，可以通过 TiDB 原生高可用机制进行自动恢复，确保业务零中断和数据零丢失。如果因意外故障导致整个生产集群的不可用，进行业务应用侧的数据校验之后即可切换到容灾集群对外提供服务。

自 TiDB 投入运行以来，业务处理能力明显提升，系统资源占用率降至 20% 以下，SQL 的平均响应时间缩短至 30 毫秒，全面满足了客户的业务需求。经过长期监测，未发现任何慢 SQL 情况，即执行时间超过 300 毫秒的 SQL 查询。与原有数据库相比，TiDB 在处理千万级数据量时并未出现 SQL 响应时间延长甚至达到秒级的问题，表明数据量的增加对 TiDB 的响应时间影响微乎其微。

图 1：TiDB 两中心灾备集群

借助 TiDB 在债权开放信息平台的应用实践，该证券公司对 HTAP 架构进行了深入的探索和应用，成功攻克了先前提到的业务难点问题：

• 在数据同步的实时性方面，TiKV 行存和 TiFlash 列存之间的数据使用 Raft 分布式协议准实时同步，在保证数据一致性的前提下将数据同步的延迟控制在秒级，提升了数据时效性。

• 面对业务资源隔离的需求，TiDB 在独立的物理节点上分别部署行存储和列存储引擎，实现了资源的有效隔离。这种架构确保了证券业务系统中的 HTAP 混合业务场景能够同时处理 OLTP 和 OLAP 负载，而不会相互干扰。TiDB 6.6 引入资源管控特性，可对不同业务的资源消耗进行灵活的配置，实现更细粒度的资源管控和隔离。

• 在分布式数据库运维领域，TiDB 提供了一系列强大的工具，如 Dashboard、Grafana 和 Clinic 等，这些工具帮助开发和运维人员提升系统的可观测性，迅速定位和解决问题。

图 2：TiDB 丰富的监控看板

• 业务性能显著提升：集群投产上线后，OLTP 业务整体性能平均提升 75% 左右，OLAP 业务整体性能平均提升 90% 左右，优化后整体平均响应时间较 MySQL 有明显提升。

• 构建了应用分布式数据库的生态系统：伴随着业务场景的应用和经验的积累，构建了一套全面的分布式数据库生态系统，覆盖了从规划、测试、部署到维护的全生命周期。此外，通过专业的技能培训和认证，为后续分布式数据库的深入应用奠定了坚实的人才基础。

• 自主掌控业务创新的方向：国产分布式数据库在证券业务系统的成功应用，验证了数据库的安全可靠，为证券公司实现技术自主和业务创新提供了有力的支撑。