尚硅谷 & 腾讯云 EMR 实时数仓教程发布

本套教程由尚硅谷大数据研究院与腾讯云官方联合推出，依托国内电商巨头的真实业务场景，基于各大互联网企业对于腾讯云 EMR 架构体系的需求，将整个电商的实时数据仓库体系搭建在腾讯云架构上。

教程全方面完成了整个实时数据仓库架构的海量数据采集、存储、计算以及可视化展示，整个业务流程全部搭建在腾讯云服务器上，并全部采用腾讯云 EMR 的服务组件，将各腾讯云 EMR 服务组件进行充分联动。

项目文档按照出书标准编写，详细讲解一行一行手敲代码，内容全面且细致，教程附赠全套视频、文档、代码、资料。通过本套教程的学习，你可以全方位掌握腾讯云的大数据服务组件使用和调优！

教程目录

001.腾讯云 EMR 实时数仓教程简介

002.需求及架构-简介

003.需求及架构-课程目标

004.需求及架构-数据仓库概念

005.需求及架构-项目需求

006.需求及架构-技术选型

007.需求及架构-数据流程设计

008.需求及架构-框架的版本选型

009.需求及架构-服务器选型

010.需求及架构-集群规模及集群规划

011.需求及架构-电商业务简介

012.需求及架构-EMR 的购买与启动

013.需求及架构-EMR 集群简单说明

014.需求及架构-使用 XShell 连接服务

015.需求及架构-修改主机映射 &配置无密登录

016.需求及架构-电商业务数据说明

017.需求及架构-上传资料包

018.需求及架构-MySQL 的安装与启动

019.需求及架构-MySQL 修改密码 &远程访问

020.需求及架构-生成业务数据

021.需求及架构-Kafka 安装

022.需求及架构-Kafka 配置环境变量 &群起

023.需求及架构-同步策略 &开启 MySQL Binlog

024.需求及架构-Flink 安装

025.需求及架构-项目构建

026.需求及架构-FlinkCDC 代码讲解 &本地测试

027.需求及架构-FlinkCDC 代码远程测试

028.实时数仓搭建-课程介绍

029.实时数仓搭建-分层框架-ODS&DIM 层

030.实时数仓搭建-DWD&DWS&ADS 层

031.实时数仓搭建-架构分析

032.实时数仓搭建-准备工作

033.实时数仓搭建-具体工作

034.实时数仓搭建-HBase 部署

035.实时数仓搭建-HBase 启动 &测试

036.实时数仓搭建-IDEA 代码环境说明

037.实时数仓搭建-Phoenix 部署

038.实时数仓搭建-Phoenix 启动

039.实时数仓搭建-Redis 部署

040.实时数仓搭建-Redis 启动 &测试

041.实时数仓搭建-ClickHouse 安装 &启动 &测试

042.实时数仓搭建-课程说明

043.实时数仓搭建-DIM 层-思路分析 1

044.实时数仓搭建-DIM 层-思路分析 2

045.实时数仓搭建-DIM 层-思路分析 3

046.实时数仓搭建-DIM 层-思路整理

047.实时数仓搭建-DIM 层-消费 &过滤 &转换数据

048.实时数仓搭建-DIM 层-配置信息表

049.实时数仓搭建-DIM 层-读取配置信息 &处理成广播流

050.实时数仓搭建-DIM 层-处理连接流-思路分析

051.实时数仓搭建-DIM 层-处理连接流-广播流-解析数据

052.实时数仓搭建-DIM 层-处理连接流-广播流-校验并建表

053.实时数仓搭建-DIM 层-处理连接流-广播流-写入状态

054.实时数仓搭建-DIM 层-处理连接流-主流-读取状态 &过滤数据

055.实时数仓搭建-DIM 层-处理连接流-主流-补充字段并写出数据

056.实时数仓搭建-DIM 层-将数据写出到 Phoenix-编码

057.实时数仓搭建-DIM 层-将数据写出到 Phoenix-测试

058.实时数仓搭建-DIM 层-将数据写出到 Phoenix-打包上传集群

059.实时数仓搭建-DWD 层-用户域用户注册代码讲解

060.实时数仓搭建-DWD 层-前置知识-WindowJOIN-说明

061.实时数仓搭建-DWD 层-前置知识-IntervalJOIN-说明

062.实时数仓搭建-DWD 层-前置知识-IntervalJOIN-编码

063.实时数仓搭建-DWD 层-前置知识-IntervalJOIN-测试

064.实时数仓搭建-DWD 层-交易域加购事实表

065.实时数仓搭建-DWD 层-工具域领券事实表

066.实时数仓搭建-DWD 层-互动域评价事实表

067.实时数仓搭建-DWD 层-交易域订单事实表

068.实时数仓搭建-DWS 层-整体介绍

069.实时数仓搭建-DWS 层-用户域用户注册基础代码

070.实时数仓搭建-DWS 层-ClickHouse 工具类 1

071.实时数仓搭建-DWS 层-ClickHouse 工具类 2

072.实时数仓搭建-DWS 层-ClickHouse 工具类 3

073.实时数仓搭建-DWS 层-交易域加购需求基础代码

074.实时数仓搭建-DWS 层-交易域 SKU 粒度下单需求前置说明

075.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-需求分析 1

076.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-需求分析 2

077.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-思路整理

078.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-JavaBean 封装

079.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-读取 &转换 &过滤 &分组数据

080.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-left join 重复数据去重

081.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-分组 &开窗 &聚合

082.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-中间测试

083.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表说明

084.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-JDBCUtil 封装 1

085.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-JDBCUtil 封装 2

086.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-JDBCUtil 测试 &再封装

087.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-优化的必要性

088.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-旁路缓存-说明

089.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-旁路缓存-读写编码

090.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-旁路缓存-读写测试

091.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-旁路缓存-删除缓存数据

092.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-旁路缓存-删除缓存数据 测试

093.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-异步 IO-说明

094.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-异步 IO-API 说明

095.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-异步 IO-线程池工具类

096.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-异步 IO-异步函数 1

097.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-异步 IO-异步函数 2

098.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-异步 IO-异步函数 3

099.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-异步 IO-异步函数 4

100.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-完整测试

101.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-测试准备工作

102.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联维表-测试完成

103.实时数仓搭建-DWS 层-交易域-SKU 粒度下单需求-关联其他维表 &写出数据

104.实时数仓搭建-可视化展示-课程介绍

105.实时数仓搭建-可视化展示-任务介绍

106.实时数仓搭建-可视化展示-Sugar 基本介绍

107.实时数仓搭建-可视化展示-Web 项目基本说明

108.实时数仓搭建-可视化展示-构建 SpringBoot Web 模块

109.实时数仓搭建-可视化展示-初体验 SpringBoot Web 模块

110.实时数仓搭建-可视化展示-再体验 SpringBoot Web 模块

111.实时数仓搭建-可视化展示-GMV 需求-Mapper 完成

112.实时数仓搭建-可视化展示-GMV 需求-Service 完成

113.实时数仓搭建-可视化展示-GMV 需求-Controllrt 完成

114.实时数仓搭建-可视化展示-GMV 需求-接口测试完成

115.实时数仓搭建-可视化展示-GMV 需求-对接 Sugar 测试完成