Flink+Hologres 助力伊的家电商平台建设新一代实时数仓

关注

发布于: 2021 年 06 月 18 日

广州伊的家网络科技有限公司是一家专注于服务女性的 B2B2C 电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自 2008 年孵化项目，2011 年 5 月上线天猫商城，全国 8 大配送中心，妍诗美、妍膳等品牌陆续成立，并于 2013 年上线了伊的家自主电商平台，2020 年全面启动品牌升级。伊的家以互联网主动式服务营销，打造护肤老师与客户强连接关系，从上到下严格贯彻以品质及专业为基础，以社交信任做连接，以服务获得认可的经营思路，经过持续的创新和积累，成为社交电商翘楚。

业务场景与痛点分析

伊的家是一家集开发、设计、运营、销售于一体一个 B2B2B 的电商平台，服务百万级会员之外，还同时支持上千级别经销商和代理商，业务应用多、数据量大、数据查询并发要求高。

伊的家技术部门在近 3 年经历了高速发展，在发展过程中，始终坚持业务优先，为此也进行了应用整合、拆分微服务、聚合分布式应用的多种技术升级改造，目前整个部门现状分析如下：

架构方面：多语言、多数据源、技术升级的业务入侵问题明显；
数据方面：应用拆分引发的数据孤岛问题，继而造成大量的数据复制、重新建设问题；
应用方面：从业绩的角度出发，业务方希望及时准确地看见业绩数据，对实时性有了较高需求；
效率方面：体系化的流程与工具诉求愈发强烈；
成本方面：主要问题是既懂大数据又懂业务的人才招聘难，团队建设成本高

伊1.png

伊的家近几年业务高速增长，数据量激增，业务复杂度也随之增大，解决在当前大数据架构之下，“人才储备难”、“业务升级受限于已有技术”、“双 11 活动压力大”等痛点问题已迫在眉睫。

伊2.png

产品选型

伊的家技术部门对于技术升级改造的需求有非常明确清晰的定义，主要围绕关存储弹性扩缩容、查询性能优化、OLAP、学习成本、查询响应、可扩展等角度进行展开，核心关注以下 3 个问题：

1）如何快速完成数据清洗

2）如何快速精准完成数据校验

3）如何快速进行故障恢复处理

伊3.png

在技术选型时始终坚持“技术选型是第一生产力”的原则，坚信技术储备没有最好只有更好，坚信技术选型是决定能力差异化所在，坚持提高一次性把事情做对的能力，坚信开放分享、认知升级的重要性。

伊4.png

早期耶基于 Hadoop、HBase、Kafaka、Azkaban、Spark、Greenplum 等开源大数据产品进行了许多摸索尝试，通过性能对比最终采用了 Greenplum，但最终发现 Greenplum 并发能力差，只适合分析场景，并不适合高并发的查询服务。

后来，在阿里云大数据计算平台团队的建议下，伊的家技术部进行了全面架构升级，整个架构由 DataWorks、实时计算 Flink 和 Hologres 组成，架构简单、学习成本非常低，仅通过 SQL 即可轻松跑通全链路。

下面将会给大家介绍，阿里云技术产品在伊的家落地的场景最佳实践

最佳实践

一、客户系统实践

伊的家原客户关系管理系统（CRM）主要基于 MySQL、MQ、Canal 以及自研应用组成，为支持业务系统切断式升级，技术部门自主研发了一套消息中间件，维护成本较高；基于 Binlog、MQ、OLAP 等产品自定义的数据开发流程过程繁琐复杂、维护成本极高，且因为系统要求数据有序对清洗的并发产生了一定的限制。

伊5.png

基于 Hologres+DataWorks+实时计算 Flink 进行架构升级后，直接通过 DataWorks 数据集成将数据库数据实时写入 Hologres，然后通过实时计算 Flink 订阅 Hologres 做进一步实时清洗，把结果表更新到数据库，即可直接服务业务。

整体架构清晰简单、数据精准、端到端纯实时、存储分析一体化、托管式运维、全自动工具作业，原系统 15 人花了 3 个月才完成项目上线，当前架构仅需 2 天即部署完成。

伊6.png

二、BI 业绩系统实践

BI 业绩系统也可以理解为实时 GMV 大屏，业务数据主要有两方面的要求：

实时
精准，业绩计算绝不允许出错。

原架构如下图图所示，原始数据层通过 Binlog，再经过 Canal 套件实时写入 MQ，之后根据业务域进行业务数据分层和清洗。任务调度系统更新业绩的顺序为“日-月-季度-年”，这个看似完美的方案实际存在着几个问题：

实时性问题：看似实时，其实过程中可能存在 5~10 分钟的延迟；
并发问题：消费的并发有一定限度。
运维问题：如果图中的某个环节出现问题，可能会导致系统也跟着出现问题。
数据清洗时效问题：清洗脚本运行一次可能需要数分钟，这期间可能会发生许多其他事情。

伊7.png

下图为升级后的 BI 业绩系统新架构。通过 DataWorks 实时同步明细数据至 Hologres，基于 Hologres 数据再增加一份实时计算 Flink 的实时 ETL 作业，即可完成“日-月-季度-年”数据的加工，最后基于 Hologres 对上层应用提供分析查询服务。整个系统纯实时调度、实时性高、秒级延迟、全 SQL 开发、数据校验高效。