成为架构师需要点亮哪些知识树
数据数据类架构师有两个方向:一是平台架构师,主要是对开源大数据组件要求较高,企业一般会要求一些平台操作的技能,要有平台搭建能力。二是偏数仓的架构师,主要是对数仓、数据模型有一定的了解,有数仓等相关的开发经验。
对于平台架构师,主要有两个方向,一个开源架构师,这也是现在互联网公司常用的架构师,比如理解 Hadoop 生态及相关原理。另一个方向是商业类,主要是针对 Oracle 等传统软件,由于近年来国内商业形势,目前开源架构师比较符合整个市场的发展方向。平台类架构师负责底层环境的搭建,数仓的架构师更偏应用,简单来说,平台型架构师是为数仓服务的。
数仓型架构师要求精通数据仓库原理,能够通过流计算、离线计算等技术解决企业内部的数据问题。数仓型架构师一般都是由 ETL 工程师发展而来,需要了解各类数据源的特点,掌握大数据工具的使用。数仓型架构师,虽然没有直接面向业务,但是整个数仓架构是为业务提供服务的。简单来说,不管数仓分几层,源系统的数据一定要能服务于业务。
对于数仓架构师来讲,一定要能够了解维度模型、了解模型设计中的事实表、维度表。知道如何定义维度,哪些是度量。之后再延伸做一下星型模型、雪花型模型。在做业务模型物化时,一定要先了解业务,能够选择业务过程,确定模型粒度,定义维度,确定事实。而且要能够了解数仓每个分层发含义,每一层需要做什么。深入研究后,会发现数仓仓库、数据湖、数据中台等概念虽然层出不穷,但是其数仓的本质还是解决实际的业务问题。
版权声明: 本文为 InfoQ 作者【奔向架构师】的原创文章。
原文链接:【http://xie.infoq.cn/article/270d9c46fac4add2c1fb5a58c】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论