湖仓一体电商项目
0 人感兴趣 · 16 次引用
- 最新
- 推荐
湖仓一体电商项目（二十一）：数据发布接口和数据可视化
通过Flink实时把结果数据写入Clickhouse-DM层中后，我们需要编写数据发布接口方便数据使用方调用数据结果进行可视化，数据发布接口项目为SpringBoot项目“LakeHouseDataPublish”，此Springboot接口支持mysql数据源与clickhouse数据源，mysql数据源方便离线数
湖仓一体电商项目（二十）：业务实现之编写写入 DM 层业务代码
DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，
湖仓一体电商项目（十九）：业务实现之编写写入 DWS 层业务代码
DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。
湖仓一体电商项目（十八）：业务实现之编写写入 DWD 层业务代码
Flink读取Kafka topic “KAFKA-ODS-TOPIC” 数据写入Iceberg-DWD层也是复用第一个业务代码，这里只需要在代码中加入写入Iceberg-DWD层代码即可，代码如下：
湖仓一体电商项目（十七）：业务实现之编写写入 DIM 层业务代码
DIM层业务代码与第一个业务处理Kafka topic “KAFKA-DIM-TOPIC” 数据到HBase代码完全一直，所以这里直接复用第一个业务中的DIM层业务代码“DimDataToHBase.scala”即可。
湖仓一体电商项目（十六）：业务实现之编写写入 ODS 层业务代码
由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。
湖仓一体电商项目（十五）：实时统计商品及一级种类、二级种类访问排行业务需求和分层设计及流程图
用户登录系统后会浏览商品，浏览日志通过日志采集接口采集到Kafka “KAFKA-USER-LOG-DATA”topic中，每个用户浏览商品的日志信息中都有浏览的商品编号以及当前商品所属的二级分类信息，我们需要根据用户在网站上浏览的日志信息实时统计出商品浏览排行、商品一
湖仓一体电商项目（十三）：数据发布接口和可视化
通过Flink实时把结果数据写入Clickhouse-DM层中后，我们需要编写数据发布接口方便数据使用方调用数据结果进行可视化，数据发布接口项目为SpringBoot项目“LakeHouseDataPublish”，此Springboot接口支持mysql数据源与clickhouse数据源，mysql数据源方便离线数
湖仓一体电商项目（十二）：编写写入 DM 层业务代码
DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，
湖仓一体电商项目（十一）：编写写入 DWS 层业务代码
DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。
湖仓一体电商项目（九）：业务实现之编写写入 DIM 层业务代码
编写代码读取Kafka “KAFKA-DIM-TOPIC” topic维度数据通过Phoenix写入到HBase中，我们可以通过topic中每条数据获取该条数据对应的phoenix表名及字段名动态创建phoenix表以及插入数据，这里所有在mysql“lakehousedb.dim_tbl_config_info”中配置的维度表都会
湖仓一体电商项目（八）：业务实现之编写写入 ODS 层业务代码
ODS层在湖仓一体架构中主要是存储原始数据，这里主要是读取Kafka “KAFKA-DB-BUSSINESS-DATA”topic中的数据实现如下两个方面功能:
湖仓一体电商项目（七）：业务需求和分层设计及流程图
根据网站实时登录会员数据以及会员基本信息来实时统计每个省份用户新增数据及每个省份实时用户的pv及uv指标，并在可视化大屏展示。
湖仓一体电商项目（六）：大屏可视化工具腾讯云图
大屏可视化工具有很多，例如：腾讯云图，帆软Finebi,阿里DataV,百度Sugar,思迈特SmartBi,免费的积木报表等工具。我们这里选择腾讯云图来实现数据可视化，
