写点什么

湖仓一体电商项目

0 人感兴趣 · 16 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/a8/a8c490c267432e10dc6a6862b7bce1b0.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(二十一):数据发布接口和数据可视化

通过Flink实时把结果数据写入Clickhouse-DM层中后,我们需要编写数据发布接口方便数据使用方调用数据结果进行可视化,数据发布接口项目为SpringBoot项目“LakeHouseDataPublish”,此Springboot接口支持mysql数据源与clickhouse数据源,mysql数据源方便离线数

https://static001.geekbang.org/infoq/06/06841473419e46f231e8e29e0e77b113.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(二十):业务实现之编写写入 DM 层业务代码

DM层主要是报表数据,针对实时业务将DM层设置在Clickhouse中,在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析,每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果,

https://static001.geekbang.org/infoq/34/344bfe452588400f0fd53c6801ea793e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十九):业务实现之编写写入 DWS 层业务代码

DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。

https://static001.geekbang.org/infoq/e6/e685a786607bd1f363bd4b0cb9911279.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十八):业务实现之编写写入 DWD 层业务代码

Flink读取Kafka topic “KAFKA-ODS-TOPIC” 数据写入Iceberg-DWD层也是复用第一个业务代码,这里只需要在代码中加入写入Iceberg-DWD层代码即可,代码如下:

https://static001.geekbang.org/infoq/17/17dc6052fef84c8afde112f3e8340e26.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十七):业务实现之编写写入 DIM 层业务代码

DIM层业务代码与第一个业务处理Kafka topic “KAFKA-DIM-TOPIC” 数据到HBase代码完全一直,所以这里直接复用第一个业务中的DIM层业务代码“DimDataToHBase.scala”即可。

https://static001.geekbang.org/infoq/92/9271633c62d77832b207481f03a6b35e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十六):业务实现之编写写入 ODS 层业务代码

用户头像
Lansonli
2022-11-30

由于本业务涉及到MySQL业务数据和用户日志数据,两类数据是分别采集存储在不同的Kafka Topic中的,所以这里写入ODS层代码由两个代码组成。

https://static001.geekbang.org/infoq/73/73c9fc6006bdd0c3b3e923f70d983aab.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十五):实时统计商品及一级种类、二级种类访问排行业务需求和分层设计及流程图

用户头像
Lansonli
2022-11-30

用户登录系统后会浏览商品,浏览日志通过日志采集接口采集到Kafka “KAFKA-USER-LOG-DATA”topic中,每个用户浏览商品的日志信息中都有浏览的商品编号以及当前商品所属的二级分类信息,我们需要根据用户在网站上浏览的日志信息实时统计出商品浏览排行、商品一

https://static001.geekbang.org/infoq/a8/a8c490c267432e10dc6a6862b7bce1b0.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十三):数据发布接口和可视化

用户头像
Lansonli
2022-11-26

通过Flink实时把结果数据写入Clickhouse-DM层中后,我们需要编写数据发布接口方便数据使用方调用数据结果进行可视化,数据发布接口项目为SpringBoot项目“LakeHouseDataPublish”,此Springboot接口支持mysql数据源与clickhouse数据源,mysql数据源方便离线数

https://static001.geekbang.org/infoq/ad/ad072893386de4d6fa594d0f8eef9409.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十二):编写写入 DM 层业务代码

用户头像
Lansonli
2022-11-26

DM层主要是报表数据,针对实时业务将DM层设置在Clickhouse中,在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析,每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果,

https://static001.geekbang.org/infoq/d3/d30a0587165e16b7921b1e3d2dc2b7a6.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(十一):编写写入 DWS 层业务代码

用户头像
Lansonli
2022-11-15

DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。

https://static001.geekbang.org/infoq/df/df387af1844ebada3879490bd4648d01.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(九):业务实现之编写写入 DIM 层业务代码

用户头像
Lansonli
2022-11-15

编写代码读取Kafka “KAFKA-DIM-TOPIC” topic维度数据通过Phoenix写入到HBase中,我们可以通过topic中每条数据获取该条数据对应的phoenix表名及字段名动态创建phoenix表以及插入数据,这里所有在mysql“lakehousedb.dim_tbl_config_info”中配置的维度表都会

https://static001.geekbang.org/infoq/8c/8c76cbd71688d99ff8272f13845c9410.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(八):业务实现之编写写入 ODS 层业务代码

用户头像
Lansonli
2022-11-12

ODS层在湖仓一体架构中主要是存储原始数据,这里主要是读取Kafka “KAFKA-DB-BUSSINESS-DATA”topic中的数据实现如下两个方面功能:

https://static001.geekbang.org/infoq/8c/8c76cbd71688d99ff8272f13845c9410.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(七):业务需求和分层设计及流程图

用户头像
Lansonli
2022-11-12

根据网站实时登录会员数据以及会员基本信息来实时统计每个省份用户新增数据及每个省份实时用户的pv及uv指标,并在可视化大屏展示。

https://static001.geekbang.org/infoq/8c/8c76cbd71688d99ff8272f13845c9410.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目(六):大屏可视化工具腾讯云图

用户头像
Lansonli
2022-11-12

大屏可视化工具有很多,例如:腾讯云图,帆软Finebi,阿里DataV,百度Sugar,思迈特SmartBi,免费的积木报表等工具。我们这里选择腾讯云图来实现数据可视化,

https://static001.geekbang.org/infoq/60/6034f4fee71748f31b23f85055211bee.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体电商项目背景与架构介绍及基础环境准备

用户头像
Lansonli
2022-07-27

​湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台,本项目在技术方面涉及大数据技术组件搭建,湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化,项目所用到的技术组件都从基础搭建开始

湖仓一体电商项目_湖仓一体电商项目技术文章_InfoQ写作社区