强强联手 | 尚硅谷 & 腾讯云 EMR 离线数仓教程发布

腾讯云 EMR 是由腾讯云打造的线上租赁式大数据解决方案平台，一站式高效部署。使用便携，没有繁琐的配置文件，直接线上修改配置；应用灵活，可以选择腾讯云提供的服务，也可以自行安装搭建服务。本套离线数仓项目由尚硅谷和腾讯云官方联合推出。

项目基于腾讯云 EMR 平台打通数据采集通道，从数仓建模到逐层构建离线数仓，拥有完整的数仓建模理论及建模过程，且在构建过程中采用了腾讯云 EMR 平台组件和原生组件相结合的方式，让企业在组件选择上更加灵活。通过本套教程的学习，你将全方位掌握腾讯云大数据服务组件的使用和调优！

教程目录

01.腾讯云 EMR 离线数仓教程简介

02.采集模块介绍

03.课程目标

04.数据仓库概念

05.项目需求

06.技术选型

07.数据流程设计

08.框架版本选型

09.服务器选型

10.集群规模 &规划

11.电商业务简介

12.选购 EMR 集群

13.远程连接

14.修改主机名

15.配置主机映射

16.配置免密登录

17.电商业务数据分析

18.上传资料包

19.MySQL 安装与启动

20.远程连接 MySQL&建库建表

21.业务数据生成

22.Kafka 服务安装

23.Kafka 服务群起 &测试

24.Flume&同步策略和工具概述

25.开启 MySQL Binlog 配置信息

26.开启 MySQL Binlog 测试

27.使用 Sqoop 完成全量数据同步

28.增量数据同步数据通道

29.Flink 部署

30.FlinkCDC 简单代码说明

31.FlinkCDC 简单代码本地测试

32.FlinkCDC 完整代码说明

33.FlinkCDC 完整代码打包测试

34.Flume 配置文件

35.增量数据同步测试

36.Flume 脚本完成

37.构建离线数仓文档说明

38.数据仓库概述

39.建模准备工作

40.建模具体工作

41.Hive 环境准备-修改配置

42.Hive 环境准备-测试

43.Yarn 环境准备

44.开发环境准备说明

45.ODS 层-建表

46.ODS 层-装载数据

47.DIM 层-商品维度表

48.DIM 层-优惠券维度表

49.DIM 层-活动维度表

50.DIM 层-地区维度表

51.DIM 层-用户维度表

52.DWD 层-加购事实表

53.DWD 层-下单事实表

54.DWD 层-取消订单事实表

55.DWD 层-其他事实表 &脚本封装

56.DWD 层-数据展示

57.DWS 层-交易域用户商品粒度订单需求-需求分析

58.DWS 层-交易域用户商品粒度订单需求-建表 &装载数据

59.DWS 层-交易域用户商品粒度退单需求-建表 &装载数据

60.ADS 层-品牌订单统计

61.ADS 层-交易综合统计

62.数据可视化-建表 &导出数据

63.数据可视化-最终总结