Tapdata 在数字化防疫场景的最佳实践

2020 年，一场飞来时疫，让全人类措手不及。疫情两年，还在持续变异的新冠病毒以摧枯拉朽之势，吞噬着我们正常的生产生活。

在“动态清零”总方针和“外防输入、内防反弹”总策略的指导下，国内疫情防控工作渐趋规范化、常态化。各地区积极有序地应对突发状况，实施精准防疫，健康码、行程卡、疫情地图、核酸追踪、风险人员轨迹追踪……各类防疫应用和手段层出不穷，数字化防控管理是此番我们同疫情较量的一大锐利武器，防疫战同时也是一场数据战。

如何发挥自身在疫情防控工作中的主导作用，充分利用数据技术，凝聚涉疫数据的力量，牢筑防疫的“数据屏障”，也是各级政府部门在防疫工作推进过程中不断探索的问题。

一、数字化疫情防控管理的三大难点

① 多源防疫数据难以被高效打通

疫情防控作为一场全体社会成员空前紧密协同的联合作战行动，无疑需要各个部门系统的通力配合，这也就直接导致了涉疫数据来源的多样化和复杂性——流调、核酸、疫苗、隔离等多个系统每天都在产生大量防疫工作相关数据。而这些系统大多独立运行，数据结构不一致，彼此间缺乏协作，致使信息链难以闭环，数据孤岛由此形成，直接导致信息填报繁、既有数据整合调用难等一系列问题。

技术痛点与 Tapdata 的解决策略：

• 疫情期间，核酸检测结果与多套关键应用系统密切相关，包括健康码、应检尽检系统，以及重点人员追踪系统，但核酸数据分布在医院和实验室等，传统获取方式是与当地大数据局对接，进行接口开发，实际操作起来非常麻烦。

• 如果选择用数据管道把各个系统的数据都同步到卫健委的数据库中，会是一个 MxN 的数据链路架构，则非常不稳定，后续维护难度大。

• Tapdata 的策略是采用数据虚拟化的架构设计思想，将数据通过 M 个数据管道汇聚到一个数据虚拟层，就可以通过实时同步任务，按需分发数据，实现快速查询、调用。

② 涉疫数据难以被实时共享

从源头上打通涉疫数据，只是善用这些数据的基础。想要真正在抗疫战中活用关键数据，切实提升防疫工作的前瞻性和响应效率，最小化疫情管控对民生的影响，还应更加关注涉疫数据流通的“实时性”。以疫情关键时期的必需品“核酸码”为例，因检测结果延时呈现而导致出行受困的情况比比皆是。涉疫数据的实时同步与共享，已成疫情下人员正常生活的必要保障。只有涉疫数据采集实时精准、数据融合处理实时高效，才能在面对疫情的各种可能状况时，做到早预警、早发现、早干预、更便民。此外，多项流调信息的实时透明，也是稳定民心的关键所在。

技术痛点与 Tapdata 的解决策略：

• 自从大规模核酸逐渐成为常态事件，数据量激增，想要充分利用这些数据，会对生产库产生巨大的压力，实施周期也随之被拉长，技术架构复杂，难以实现。

• 传统的大数据平台因架构原因，天然具有高延迟、数据难以实时更新等缺陷。而 Tapdata 基于分布式数据库的存储方案，可以支撑毫秒级响应的低延迟，以及数十万每秒的并发访问。

• Tapdata 的策略是对采集到的核酸数据进行实时过滤、变形，再汇聚到数据虚拟层形成统一视图，最后通过 API 发布，供下游业务使用。

③ 数据不能被有效复用，重复开发和准备周期长

从早期的健康码、行程卡，到面向不熟悉智能机操作的老人儿童的离线码、便于公众防范的疫情地图，再到电子哨兵、核酸码、场所码……面对疫情的突发性以及病毒的频繁变异，防疫措施也在不断升级。于政府部门而言，对外，需要让防疫的刚性措施和人性温度相融合，聚焦“急难愁盼”问题，创新服务形式；对内，需要快速响应新的数据汇报、共享需求。应用需求侧的不断更新，对数据开发的敏捷性提出了更高的要求。快速响应、快速落地的数据高效利用需求之下，传统方案更显捉襟见肘。

技术痛点与 Tapdata 的解决策略：

• 涉疫数据如何被最终灵活应用，助力特殊时期的数字化政务服务新形势又成了问题。传统方式下，需要在源端数据库创建触发器，并通过 ETL 脚本，以轮巡的方式写入目标。流调系统数据会被要求分发到交通、公安等部门，这些都需要人工开发脚本，导致效率低、协作难和资源投入大。

• 因为需要维护大量副本，传统大数据平台很难实现敏捷的数据更新。再加之数据结构多样，连接困难，在疫情反复、核酸频测的当下，非常容易导致开发内容重复的冗工问题。而基于 Tapdata 搭建的一体化平台，开创性地提供了从数据消费到数据加工再到数据交付的一揽子解决方案，数据应用更高效。

• Tapdata 的策略是利用数据虚拟层的一致视图跟踪居民最新核酸情况，展开未检人员跟踪，计算出居民需要核酸的频次，并通过短信提示，汇入应检未检系统。而在数据虚拟层形成一致视图后，就可以被反复使用，真正做到“一次构建，多次使用”。

二、基于数据虚拟化和主数据管理能力的 Tapdata 防疫解决方案

面对传统技术方案的诸多限制与不便，Tapdata 为高效落地疫情防控数字化应用提供了新思路：构建一个集数据实时同步、实时处理与实时发布于一体的防疫数据平台，在保留原有涉疫信息系统的基础上，构建一个高度一致的数据镜像，并采用主数据管理技术，形成完整、准确、实时的疫情防控数据服务底座，快速解决涉疫数据孤岛、数据查询调用不及时、应用开发周期长等数字化防疫难点问题。

通过 Tapdata 构建疫情防控数据服务底座

快速落地防疫数据服务价值

通过 Tapdata 构建疫情防控数据服务底座，结合当地及全国防疫任务的总体需求，可以快速落地数字化防疫的价值。

① 实现数据共享、业务协同，提高抗疫一线工作效率

• 各业务、各部门信息孤岛打通，快速准确填报

• 数据流驱动业务流，数据支撑业务协同

• 打造统一的疫情防控协同工作平台，同类用户尽可能有一个统一的工作平台

② 实现防疫数据采集、数据治理、数据共享的实时准确完整

• 确保系统能用、好用，确保核心数据不在体外循环

• 基于数据标准规范，落实数据交换、质量检查、集成整合等工作的自动化

③ 实现相关防疫系统的“集成整合+升级改造+界面融合”

• 针对本地已建系统进行深度优化改造，推动疫情防控信息化

• 科学规划“界面融合”操作入口，切实提高操作效率

④ 提升数据采集、流转、使用的效率，主动为个人和企业提供便捷服务

• 可将个人和企业办理的各类防控事项，集中到统一的入口

• 基于政务大数据实现数据共享，少填少报

易部署，高兼容，开箱即用

Tapdata 可以在不干扰原有系统的前提下，进行快速部署，低代码、可视化的产品特性，可以在极少人力投入的情况下，做到开箱即用。

① 打通数据孤岛，建立业务主数据

Tapdata 具备广泛的数据连接能力，已经支持超过 40 种数据源，兼具数据库复制以及与 SaaS 服务的对接能力，支持数据实时采集，对于原有业务的侵入很小，在打通数据孤岛的同时，不会对原业务的持续运行造成影响。

② 轻量易部署，支持横向拓展

疫情的特殊性对数据平台的部署架构提出了更高的要求：

• 需要具备弹性分布式架构，可通过小规模部署满足当前需求，支持后续的无缝扩容

• 需要具备 24x7 高可用及横向扩展能力，无需停机

Tapdata 可以很好地满足相应需求。Tapdata 支持轻量级私有化部署，可以部署到本地数据中心或私有云环境，同时支持单机部署和分布式多节点部署。单机模式下，可以部署在一台服务器上，最小化的平台部署仅需 5 个节点。数据同步节点和数据发布节点可以随时按需扩容，只需新增一台服务器，就可以快速完成搭建。面对巨量涉疫数据，也可轻松满足数据处理的高性能需求。

Tapdata 物理部署架构

物理部署架构说明：

• Tapdata Management：负责软件各模块调度和网页控制台展现

• Tapdata API Server：负责数据发布及 API 网关

• Tapdata Flow Engine：负责数据同步、清洗、多表关联、聚合计算等

• MongoDB：Tapdata 数据库，中间缓存结果，DaaS 数据库

③ 低代码可视化配置

Tapdata 支持以低代码、可视化的配置方式，完成数据实时同步链路及任务的编排设置、数据融合与治理、数据实时发布等核心功能。无需专业编程能力支撑，即可快速进行实时数据的开发和使用，确保各相关单位可以在极少人力投入的情况下，快速推进需求开发及应用落地。

实现多方受益

• 辖区居民

• 统一登记入口，使用统一入口登记涉疫信息，并自动绑定个人信息；

• 非必要免提交，核酸检测结果、健康码、行程码等自动关联；

• 信息上报更方便，开发健康信息上报应用，减轻企业、学校等相关责任人的数据统计压力，减少因重复“健康打卡”带来的不便。

• 卡口工作人员

• 提前预约申报，线上提前预约登记，减少线下登记工作，减少因高峰期现场填报而导致的交通拥堵；

• 现场快速采集，提供方便的信息采集工具，同时可实现人员信息关联，提高采集核实效率。

• 社区疫情防控人员

• 数据精准可靠，接收到的待核查人员信息准确、不重复且分发正确，减轻基层人员核对压力；

• 上报口径统一，面向各委办局的数据格式统一、数据维度统一，可实现一处上报，减轻基层人员数据上报的工作压力。

• 流调溯源工作人员

• 轨迹定位精度提高，对于阳性、密接和次密接等重点人员，有精准敏捷的定位手段，提高流调精度，减轻流调溯源工作压力；

• 智能梳理人员，可快速确认密接和次密接人员，查实疫情人员影响范围。

• 指挥调度人员

• 重要事宜及时获知，保证各专班能第一时间反馈重要事宜；

• 数据准确一致，重要信息传递准确，确保各渠道信息一致，可比对提醒；

• 部署任务闭环反馈，部署的任务能闭环反馈完成情况，确保落实到位。

• 疫情防控决策人员

• 风险事件即时告知，如发现本地阳性人员、外地阳性的本地密接人员等；

• 统计数据及时准确，移动端、大屏数据及时准确；

• 辅助决策判断，可提供预研预判能力，实时掌握疫情态势，可提供风险预警，可预测疫情趋势，及时决策。

三、最佳实践：Tapdata 携手张家港市卫健委，合力构建疫情防控数据中台

此次疫情期间，Tapdata 与长期深入践行“智慧政务”、助推“智慧医疗”发展的张家港市卫健委，建立了良好的合作关系。双方协力构建疫情防控数据中台，基于一致化的数据标准，明确更新交换机制，实现数据集中汇聚、治理和应用，从而支撑各疫情防控应用互通，切实解决了张家港市卫健委涉疫数据打通和实时传输的需求，保障了核酸检测数据的及时同步，有效缓解了抗疫措施对民生和经济带来的影响。

方案落地

Tapdata 是本次落地疫情防控数据中台的关键。借助 Tapdata 无侵入式实时数据连接或采集的能力，张家港市卫健委无需改造已有系统，即可轻松完成各类系统的数据接入和统一管理，为历史系统减负，为数字化加速；通过 Tapdata 的低代码实时数据开发能力，还可以快速完成核酸信息查询、隔离人员信息、疫情流调数据查询等数据模型开发并上线，实现疫情防控数据的实时计算、上报和发布。

基于 Tapdata 快速新建疫情防控专题数据库

在疫情防控数据中台之外，Tapdata 还助力张家港市优化融合已有的 14 个系统，推进一体化平台建设，形成信息链闭环。

基于数据中台的轻量级融合

该方案之下，来自隔离点管理系统、流调转运系统、居家健康监测系统等的多源异构数据，得以实时汇聚到中央化平台，并由此提供统一的数据输出接口及语义，为所有下游数据应用需求提供实时、完整、准确的数据资源。

使用 Tapdata 快速构建 FDM 基础数据模型、MDM 主数据模型和数据实时共享：

1. 基础数据模型 FDM 同步

1. 构建疫情防控主数据模型 MDM

1. 推送数据到业务系统

高精准、强实时的数据应用

随着疫情防控数据中台的快速落地及稳定运行，Tapdata 成功助力张家港市卫健委：

• 打破数据孤岛，实现涉疫数据实时查询与推送，核酸相关系统数据可实时获取，大大缩短了核酸检测结果等待周期；

• 大幅提升开发效率，从数月降低到 1 天，可在 10 分钟内完成数据开发，快速支撑疫情相关报表数据，响应各区域的上报、汇总需求；

• 构建防疫相关信息的主数据库，统一数据规则，开放数据目录，有效提高数据资源复用率。

同心抗疫，共克时艰。疫情正在深刻改变这个世界的运行方式，零接触、线上办……数字化已然成为我们对抗疫情的一角缩影。疫情尚未终结，Tapdata 未来也将持续携手各相关组织单位，为抗疫一线输送数据之力，与疫情传播赛跑。而这场旷日持久的疫情防控攻坚战，终将散尽硝烟。

【彩蛋时间】还想了解更多数字化防疫相关内容？5 月 24 日（周二）20:00-21:00，张家港市卫健委规划发展与信息化科负责人刘浩哲，Tapdata 首席架构师杨庆麟（Arthur），与您相约 Tapdata 直播间，共话 Tapdata 在张家港市卫健委数字化防疫场景下的最佳实践。活动详情如下（点击报名）：

【关于 Tapdata】

Tapdata Inc.「深圳钛铂数据有限公司」，成立于 2019 年 9 月，核心员工来自 MongoDB、Oracle、百度、阿里、腾讯等，研发人员占比 超 90%，至今已获五源资本等多家头部风投数千万美元融资。Tapdata 是全球首个基于 DaaS 架构理念、面向 TP 业务或场景的企业实时数据服务平台，能够帮助企业快速打通数据孤岛，构建主数据服务平台，为新业务提供统一、完整、实时的数据，已服务周生生、中国移动、中国联通、南方电网、中国一汽、富邦银行、罗辑思维等数十家行业标杆企业。Tapdata 坚持“开放+开源”战略，现已免费开放 Tapdata Cloud，正在逐步对核心技术进行开源。

旗下产品：

• Tapdata Enterprise：一款基于数据即服务（DaaS）架构理念自主研发的数据平台，可帮助企业无代码快速连接孤岛系统，构建敏捷型的实时数据服务平台，为联机分析处理（OLAP）业务提供实时数据输入，更可以为交互式业务（OLTP）提供实时的数据服务。适用于企业统一数据管理、数据上云、实时数据中台、实时数据库同步、业务系统升级与加速等多个场景。点击：试用 Tapdata Enterprise 产品
  

• Tapdata Cloud：一款异构数据库实时同步 SaaS 服务，支持主流的开源数据库及商业数据以及消息类中间件（包括：MongoDB、MySQL、Oracle、SQL Server、DB2、Elastic、Kafka、Sybase、PostgreSQL、Redis、GaussDB 等），基于日志的数据库 CDC 技术，0 入侵实时采集，毫秒级同步延迟，拖拽式的“零”代码配置操作，可视化任务运行监控和告警，通过 Tapdata Cloud 可轻松实现跨系统跨类型的数据实时同步。点击：注册 Tapdata Cloud，永久免费使用