写点什么

“智慧”有为!AntDB 数据库助力某省高速率先完成自主可控建设

  • 2022 年 8 月 25 日
    浙江
  • 本文字数:2727 字

    阅读完需:约 9 分钟

随着新型智慧交通业务的不断涌现,各类高速公路的管控、收费及监测数据在道路管理的各个环节中发挥重要作用,智慧公路信息化建设已成为高速公路建设的重点。AntDB 数据库助力某省级客户构建协同共享、强大高效的统一智慧管理平台,为高速精细化管理和运营提供了强力支撑,率先实现了全省高速清分结算系统的自主可控升级改造。


01

建设:科技赋能打造“智慧通道”


截止去年年底,某省高速公路建成里程突破 10000 公里;全省发行 ETC 用户累计超过 600 万,客车 ETC 使用率超 70%,货车 ETC 使用率超 60%。

自某省高速全面推行 ETC 收费以来,人为管理行为逐步减少,各类偷逃税行为时有发生,不仅带来了经济上的损失,还严重影响高速安全通行管理工作,迫切需要借助大数据、AI 等技术,预防和及时发现高速通行问题。该项目面临的主要挑战如下:


  • 首先,各省 IT 信息化水平参差不齐,高速道路车辆通行图片等关键信息保留在各路段中心系统中,保存时间长短不一,且存在数据查询困难、数据缺失等问题。

  • 其次,各省高速偷逃费行为多通过阶段性集中稽核或依赖收费、稽核人员经验进行人工稽核,投入人员多、效率低。

  • 再者,高速系统对通行车主缺乏统一的管理和分析,分析维度单一、实效性较差,原有系统面临前台响应缓慢、数据分析操作繁琐、数据呈现不够直观等问题,使高速通行数据运转不畅。



图 1 AntDB 数据库省公路联网中心业务架构


这就对高速大数据平台的基础数据存储架构,提出了更高的要求:


统一数据服务、多模融合:高速大数据涉及源系统多,如省清分结算系统、车道收费系统、ETC 门架收费系统、发行系统、客户服务系统、绿色通行系统、两客一危系统等;涉及的数据格式多样化,如结构化通行数据、通行图像数据、发行基本资料及图片数据等。数据存储架构需要简洁、易维护,提供统一访问接口,存储汇聚而来的全量原始数据、历史数据备份等,提供即时的在线的查询服务。

准确及时响应、高性能:高速大数据平台汇聚了每日从车道通行采集的数据多达数十 G,每日从发行系统获取的基础资料数据高达近百 G,还有海量的新增客户车证信息数据和 ETC 门架通行图片数据,这对数据处理提出了高并发、低时延的要求。同时,客户要求提供一个便捷的数据共享服务开发环境,通过全国统一的应用程序,完成对部联网中心、各省中心文件数据的互通,保障跨省及省内交易数据的完整性、及时性。

一体化管理与分析、HTAP 混合负载:省中心系统的 HTAP 类业务,要求 AntDB 满足一体化的清分结算务分析能力,覆盖数据采集、上传下载、数据处理、清分、清分结算、数据校验、路径拟合、数据查询等业务场景,达到清分结算业务高效进行,推进全省收费公路联网收费工作的安全、有序发展,助力高速的精细化运营。


02

数据:连起来、跑起来、用起来


面对亿级用户规模的系统建设需求,传统数据库往往需要多套技术来进行支撑:一套关系型数据库实现元数据管理、标签化管理,一套管理非结构化文件,技术架构复杂,导致项目管理难、实施成本高。同时,集中式的存储架构,无法根据需要弹性扩展,从而满足业务增长和海量数据管理的需求。


AntDB 数据库具备“超融合”的数据库能力,基于多副本的数据混存技术,支持多种存储方式的统一存储;同时,融合事务处理和在线分析操作,提供不同数据类型、不同需求场景的一站式数据服务,维护成本低、实用性强。

2 AntDB 分布式数据库产品架构


项目实施前期,AntDB 集中处理了之前需耗时 2 个月的数据分析工作,期间应用对数据库发起的负载是平时正常业务量的 40 倍,AntDB 使用分布式并行执行引擎,充分使用硬件资源,高效完成了业务报表的输出,获得了业务团队和客户的认可。


在集中处理数据期间,硬件资源基本用满:

  • 磁盘 IO 打满

  • CPU 使用率 80-90%

  • 25G 网络打满,传输速率:2GB/s

项目上线后,随着业务量的增加,相比测试阶段数据量和并发量都提高了一个数量级,市场侧或将出现业务处理积压的情况。经过多方分析后,将问题定位到磁盘 IO 性能作为关键影响因子,具体业务侧的表现为:

  • 入库积压

  • 错单回收慢

  • 门架规整慢

  • ETC 拆分慢

  • 拆分报表慢


在前期的分析过程中,也采用一些措施进行优化:

  • SQL 优化

  • 表拆分

  • 模型优化


有一定的缓解效果,但是还不够,离预期的效果有一定的差距。


经过专家分析并与客户沟通,从操作层面、经济成本、业务影响度等多方面进行综合考量,确定了两种措施来根本解决:

  • 数据库主机磁盘从机械盘(HDD) 升级为固态盘(SSD)

  • 分布式数据库的主备节点分开部署,分别部署在不同的主机上


措施实施的效果非常明显,从业务的表现如下:

  • 省内 ETC 清分升级后,业务数据处理速度提升了近 15 倍;

  • 措施实施后,清分记账的效率提升约 60%,报表生成时间缩短近 90%;

  • 全网 ETC 拆分业务升级后,省内交易拆分处理效率提升约 3 倍,跨省交易的拆分效率大幅提升近 8 倍;

  • 门架规整在升级之前每天的积压量在百万级左右,升级后,不再出现历史数据积压的情况;

  • AntDB 每天处理清分结算系统数据量达到上亿条,AntDB 通过最大化利用硬件资源,保证系统高可用,在提升数据处理性能的同时,降低客户成本。

图 3 AntDB 分布式数据库部署架构


AntDB 数据库在智慧高速系统稳定运行的一年半中,不仅满足了某省高速交付周期短、数据多样化、管理多维度、技术自主可控的业务场景需求,还提升了全省高速卡口数据的实时入库、查询、出库的处理效率,日均处理千万条门架数据,百万条车道流水,数据库总数据量达到近百 TB,实现将海量数据”连起来,跑起来,用起来”。


03

应用:双效显著,驶向智慧交通快车道


清分结算系统自上线以来运行平稳,取得了良好的经济效益和社会效益。


处理效能上,AntDB 数据库高效完成了过去半年所有历史异常数据的统一稽核,替换前门架规整积压量在 100 万左右,替换后无积压;在短时间内完成了原先需要 2 个月的数据分析工作,期间应用发起的负载,是平时正常业务量的 40 倍;关键业务处理速度提升近 90%,报表生成时间降低了一个量级。

4 AntDB 数据库行业应用成效


预算使用性价比上,通过应用 AntDB 国产数据库,减少了数百万的项目建设成本与费用,并且降低了每年的商用服务费用。

行业示范效应上,该省清分结算国产数据库的成功应用,为高速行业内应用国产数据库树立了标杆,增强了行业内应用国产技术的信心。

未来,AntDB 将加快拓展更多数字化应用场景,在高性能交易场景、复杂交易场景、海量存储场景、分析型场景、大数据分析场景等其他行业多业务场景中,持续发挥发挥其超融合数据库能力,为更多的行业客户提供更高质量的产品和服务。


关于 AntDB 数据库

AntDB 数据库始于 2008 年,在运营商的核心系统上,为全国 24 个省份的 10 亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔电信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。


AntDB电信级核心交易数据库-服务全国24个省份超10亿用户

用户头像

企业数据库创新实践者 2021.07.26 加入

AntDB数据库始于2008年,服务于全国20多个省份的10亿多用户提供在线服务;具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔电信核心交易,并保障系统持续0故障运行近十年。 官网:asiainfoah.com

评论

发布
暂无评论
“智慧”有为!AntDB数据库助力某省高速率先完成自主可控建设_AntDB_亚信AntDB数据库_InfoQ写作社区