写点什么

浅谈数仓、数仓模型分层

发布于: 2021 年 03 月 13 日
浅谈数仓、数仓模型分层

数据分层是数仓模型设计中十分重要的环节,优秀的分层设计能够让整个数据体系更易理解和使用。

数仓分层意义

数仓分层目的是使用空间换时间,通过大量预处理,提升用户数据加工效率等,故而存在大量数据冗余。如果不分层,源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大。

通过数据分层管理可以简化数据清洗的过程,因为把原来一步的工作分到了多个步骤去完成,相当于把一个复杂的工作拆成了多个简单的工作,把一个大的黑盒变成了一个白盒,每一层的处理逻辑都相对简单和容易理解,这样我们比较容易保证每一个步骤的正确性,当数据发生错误的时候,往往我们只需要局部调整某个步骤即可。

综上所述数据分层将可以给我们带来如下的好处:1、清晰数据结构:每一个数据分层都有它的作用域和职责,在使用表的时候能更方便地定位和理解 2、减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算 3、统一数据口径:通过数据分层,提供统一的数据出口,统一对外输出的数据口径 4、复杂问题简单化:将一个复杂的任务分解成多个步骤来完成,每一层解决特定的问题

通用可行的数仓分层设计方案

为了满足前面提到数据分层带来的好处,建议将数据模型分为三层:基础数据层( ODS、STG )、公共维度模型层(CDM 或 EDW)和数据应用层(ADS)。如下图所示。简单来讲,我们可以理解为:基础数据层存放的是接入的原始数据,DW 层是存放我们要重点设计的数据仓库中间层数据,数据应用层是面向业务定制的应用数据。

基础数据层

包含 STG(数据缓冲层)与 ODS(原始数据层)两层,这两层数据结构与业务数据几乎一致。

STG 数据准备区或数据缓冲区

定位是缓存来自 DB 抽取、消息、日志解析落地的临时数据,结构与业务系统保持一致;负责对垃圾数据、不规范数据进行清洗转换;该层除为 ODS 层服务外,不提供服务,也就是不能被其他更上层次调用。

ODS 原始数据层或操作数据层

操作数据层定位于业务明细数据保留区,负责保留数据接入时点后历史变更数据,数据原则上全量保留。可以在此层对增量数据或者拉链表数据进行合并。

公共维度模型层 CDM(Common Data Model)或者 企业级数据仓库 EDW (Enterprise Data Warehouse)

公共维度模型层主要用于存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数据一般根据 ODS 层数据加工生成;公共指标汇总数据一般根据维表数据和明细事实数据加工生成。本层采用维度模型作为建模方法的理论基础,更多的是通过采用一些维度退化手段,将维度退化至事实表中,减少维表和事实表的关联,提高数据易用性。

明细数据层:DWD(Data Warehouse Detail)

该层一般保持和 ODS 层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。同时在此层会采用明细宽表,复用关联计算,极少数据扫描。举例:订单主表以及订单明细表,可以以订单明细表作为最小粒度,连表整合订单表数据,生成 dwd 层订单事实表。

数据汇总层:DWS(Data WareHouse Summary)

该层会在 DWD 层的数据基础上,对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。直观来讲,就是对通用的核心维度进行聚合操作,算出相应的统计指标。

公共维度模型层 CDM 主要作用

1、组合相关和相识数据,采用明细宽表,复用关联计算,减少数据扫描 2、公共指标统一加工,为上层数据产品应用,服务提供公共指标,建立逻辑汇总宽表 3、建立一致性维度,一致性的数据分析维度,降低数据计算口径,解决算法不同意的风险

应⽤层 ADS(Application Data Mart-应⽤数据集市)

数据应用层,也叫 DM(数据集市)或 APP 层等,面试实际的数据需求,可以直接给业务人员使用,以 DWD 或者 DWS 层的数据为基础,组成各种统计报表。除此之外还有一些直接的表现形式,例如主题大宽度表集市,以及横表转纵表等。

宽表

宽表这块我的理解是,基于维度模型的扩展,采用退化维度的方式,将不同维度的度量放入数据表的不同列中,同时将于主分析维度相关的指标进行整合,更利于理解,以及较好的查询性能。

宽表物理设计结构:1、基本属性 2、日行为汇总指标 3、周期行为汇总指标 4、历史累计属性和指标

思考和总结一下

从数据应用理解上来讲,目的是希望越上层次,对使用者约友好。比如 ADS 层,基本是完全为应用来设计的,很易懂,DWS 层的话,相对来讲就会有一点点理解成本,然后 DWD 层就比较难理解了,因为它的维度可能会比较多,而且一个需求可能要多张表经过很复杂的计算才能完成。

从能力范围来讲,我们希望 80%需求由 20%的表来支持。直接点讲,就是大部分(80%以上)的需求,都用 DWS 的表来支持就行,DWS 支持不了的,就用 DWD 的表来支持,这些都支持不了的极少一部分数据需要从原始日志中后去。


用户头像

这里有程序员的故事,分享日常学习的技术。 2018.04.25 加入

公众号: 白程序员的自习室 博客地址:https://www.studytime.xin/

评论

发布
暂无评论
浅谈数仓、数仓模型分层