离线数仓建设，企业大数据的业务驱动与技术实现丨 03 期直播回顾

2022 年 8 月 11 日
浙江
本文字数：2903 字
阅读完需：约 10 分钟

一、离线数仓建设背景

离线数据是相对实时数据而言的数据产出，不同于实时数据，离线数据一般是 T+1 天处理，也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高，需要基于一段时间的历史数据计算才能得到结果的场景，我们大致可以分为离线数据分析及数据应用两类，离线数据计算具备：数据准确度高、吞吐量大、计算成本低等特点。

离线数据应用的场景非常广泛，企业的数据迎来了爆发式的增长，目前企业数据规模巨大、数据类型多样、生成及处理速度极快、数据价值巨大但密度却较低，这些数据增长的场景，带来的是是我们传统的一些数据基础设施建设暴露出来的缺陷，比如自建数仓投入高、周期长、无法弹性扩缩容导致资金和人力成本投入越来越大；传统数仓在存储、搜索和分析挖掘等能力上的瓶颈也越来越突出。传统离线数据建设无法满足数据增长需求，数字化转型迫在眉睫，许多企业已经在转型或者在转型的路上。

但企业在数字化转型过程中并非一帆风顺，还面临着许多问题：

● 数据生产效率低

企业内部数据孤岛现象比较严重，不同部门自行搭建数据仓库，数据重复开发、难以共享，跨部门的数据需求响应周期长。

● 计算存储成本高

数据量增长后计算和存储的资源消耗也越来越大，此时资源利用不合理导致的数据延迟等问题也愈发突出。

● 数据质量问题频繁发生

因开发人员水平参差不齐，数据研发规范不统一等原因导致的质量问题频发且溯源困难。

● 数据安全难以保障

由于数据权限管理粒度粗、数据访问认证欠缺等一系列的问题导致重要数据泄露，数据安全难以保障。

因此在离线数仓数字化转型过程中，我们需要实现以下目标：

● 提升数据生成效率

● 提升数据质量

● 降低计算存储成本

● 保障数据安全

二、离线数仓建设方法论

如何帮助企业建设离线数仓，我们主要从以下五步骤入手：

1、业务调研

企业进行离线数仓建设的第一步是进行业务调研，业务调研的目标是梳理核心的业务流程，包括这个业务流程中涉及到的环节及主要人员，关注的重点数据指标是什么，以及数据来源，和数据量。从企业整体的角度探查数据需求可以帮助架构师进行数据计算存储底座和开发工具的选型。

2、技术选型

第二步技术选型阶段，首先是底座选型，底座选型的目标是确定我们需要把不同来源的数据统一汇集到哪个存储介质里，用什么样的方式进行计算。在工具方面，离线开发比较关注数据同步、数据开发、任务调度相关的一些工具，这些方面无论是开源还是商业版目前市面上都有很多类型的产品可供选择。

3、数仓域划分

第三步是数仓主题域和主题划分，一个主题域对应一个宏观的分析领域，可以理解为一个业务数据大类。主题域的划分方式根据企业内部需要可以按业务系统、需求、部门甚至是行业案例划分。主题域划分完成后可以继续往下划分一级主题二级主题，也就是数据大类下面的小类，直到划分到实体为止，那么整个主题域主题就划分完成了。

4、逻辑建模

第四步是逻辑建模，逻辑建模可分为指标体系梳理、实体关系调研、维度梳理及数仓分层这 4 个部分。

5、物理建模

在上面的四个步骤中我们已经把数仓框架搭建完成了，那么物理建模阶段就是根据业务需求进行数据开发代码编写和上线的过程。

三、离线开发实施流程

分享完离线数仓的建设方法论，接下来来为大家分享离线开发的实施流程。

● 第一步：数据集成（多源异构数据双向读写）

流程中的第一步数据集成，本质上是把来自一些数据库的数据经过数据的解析、转换后写入到相同或者异构的数据库这样一个过程，我们需要重点关注：

1、数据读写性能，关注工具是否能满足数据同步要求的速率；

2、异常恢复，当同步任务出现各种原因的异常中断时，能否从断点处继续进行数据读写，而不必每次出现异常都全部重新开始；

3、同步方式，关注同步工具能否支持全量、增量、批量的同步方式；

4、脏数据监控，如果源头或数据转换过程出现异常，这些异常数据能否进行记录和分析，帮助数据开发追溯数据质量问题来源。

● 第二步：数据开发

1、SQL 数据加工

通过 SQL 代码实现数据加工逻辑，产出表的过程。需要关注的点是工具对于开发任务类型能否满足要求，开发界面是否友好，任务的调试，数据日志下载等基本功能是否满足。图片

2、调度配置：编排任务有序按需执行

上一步完成代码开发后，还需要为开发任务进行调度属性配置，让任务根据设置的依赖关系和计划时间有序地运行。需要关注的重点是：稳定性与兼容性、任务依赖、周期调度。

● 第三步：任务发布

完成代码开发调试和调度配置后，我们就可以把数据开发任务从开发环境发布，也就是拷贝到生产环境中，由生产环境任务周期运行产生的数据就可以给业务方使用了。

一般数据开发会有三种环境模式。

**1、单项目模式，**也就是开发测试都在一个项目内完成，经过测试的任务直接跑生产数据，这种模式开发流程短，需求响应快，适合对数据稳定性和要求不高的场景，但大部分情况下我们不建议这么操作；

**2、双项目模式，**数据开发在开发项目中完成任务开发和测试，通过运维发布到生产环境中运行，开发项目和生产项目存在数据隔离，这种模式对数据安全比较有保障；

**3、三项目模式，**用户有两套网络相互隔离的集群，第一个集群用于数据开发和测试，数据开发在开发环境进行编码和自测，发布到测试环境由测试人员进行用例测试，测试完成的任务打包下载至本地，人工拷贝或传输到生产集群的项目下进行运行，这种模式虽然操作流程上多了一个环节，看起来比较麻烦，但由于网络隔离也最大程度上保证了生产数据的安全和稳定。