TDSQL 全时态数据库系统 -- 典型案例

经典案例

增量抽取、增量计算等都是 T-TDSQL 的经典案例。如下以增量计算为例，来分析 T-TDSQL 在腾讯金融业务中的典型应用。

增量计算

基于 T-TDSQL 全时态数据存储的特性，我们可以方便的进行增量式的数据查询、抽取和计算。

对于单表的数据增量抽取/计算[1]，T-TDSQL 首先通过快照差读方法，获取对应与给出快照范围的增量数据集，然后根据用户定义的计算规则，组合调用系统内置的聚集函数，如 SUM，AVG，GROUP BY 等，实现增量计算的功能。历史上任何时间段内的的数据都可以通过增量计算的技术进行“增量抽取”。

对于多表增量计算，T-TDSQL 通过“快照差连接”支持增量计算场景。即首先得到两个快照差集合 R 和 S，然后通过连接操作将两表合并，之后再使用聚集函数等完成计算。

本节通过在互联网金融中常用的对账业务来对增量计算的原理和实际应用进行介绍。

对账业务

互联网金融行业对数据的准确性要求极高，而在互联网环境中，数据不一致或数据错误时有发生，因此，通过对账来降低账户余额等数据错误造成的风险十分重要。

在腾讯计费业务中，采用将账户余额表(user)和账户流水表(water)按小时/天为周期进行比对的方式，来发现账户余额与交易流水的不一致现象，从而及时对错误交易进行修正。

传统的对账采用按固定时间段（如分钟/小时/天）为单位进行对账。如现对 2018 年 4 月 11 日的交易进行对账，首先需要得到 4 月 11 日期初账户余额表和期末账户余额表，以及当天的交易流水表；然后对账户表通过按用户 ID 分组，并计算每个用户的期末余额减去期初余额，记为结果 A，对流水表按用户 ID 分组，并将交易金额分组求和，记为结果 B；最后将每个用户的结果 A 和结果 B 进行比对，如果 A=B，则交易没有问题，否则该用户在当天的交易存在错误。

对于按固定时间段对账，主要存在以下三个问题：

1. 时效性差：对于错误交易，不能立即发现并反馈，延迟了以固定时间段为单位的一段时间后才能发现错误。

2. 对账不精准：定位错误交易较复杂。例如：如果用户在一天内发生的多笔交易，其中一笔出现了错误，通过按天对账的方式不能直接定位到具体的哪条交易出现错误，而只能定位到用户级别，即仍然需要人工参与，将该错误用户的当天交易都确认一遍，才能找到具体的错误交易。

3. 对账不灵活：按固定时间段对账，如以天为单位，则只能等这一天内的增量数据沉淀下来，才能进行对账，如果有跨天对账需求（如昨天下午至今天上午），对账所用数据需要跨多个表才能执行，这可能改变对账业务的流程。

对账优化

基于本文提出的数据模型和增量计算方法，可以很好的解决按天对账所存在的问题。结合 3.1.2 中的示例，我们给出在互联网金融的对账业务中，增量计算的实际应用。

T-TDSQL 可以基于增量计算的功能将账户余额表(user)和账户流水表(water)进行精准比对，进行流水级别的细粒度对账，从而即时发现交易错误，并可以立即定位到错误的那一条交易，省去繁杂的错误交易定位过程。

优化后的对账的核心思想是：总账算摘要、细账笔笔精。

优化后的对账的效果是：总账快对、细账精确、不受时限、任意对账[1]。

对账步骤 1—总账对账：首先读取给出对账时间段[s_start,s_stop]内的所有账户表数据块，对每个数据块内数据采用与传统对账方式类似的公式来确认账户情况，即进行“总期末余额-总期初余额=总交易变动”试算[2]，总期初余额代表 s_start 时的总余额，总期末余额代表 s_stop 时的总余额，总交易变动代表每块内账户对应产生的流水，如果有数据块内的总账不平，意味着有细账错误，因此要进行步骤 2、3 所描述的精准对账。

对账步骤 2—精准对账—对账过程：执行如下 SQL，将账户余额块和对应账户流水块进行“快照差连接”，返回结果集中每条记录将含有{交易前余额，交易后余额，交易变动}。