组织架构视角下的数据中心
2020 年 10 月 29 日,在未来的五年中占据重要份量的数字化的十四五(2021-2025)规划获得通过,之后围绕产品数字化,数字产业化为主商业新蓝海,开始走上舞台的中央。
本文我想从组织架构层面来讨论下,数字化的组织落地实践。
一家公司如果发展到一定规模,其技术部门中关于数据团队的建设就相对比较完善,主要包括了数据分析,数据开发,算法,大数据运维,平台工具,数据产品团队。各个团队之间紧密的协作,来完成数据驱动商业发展的目标。
数据开发团队
数据开发团队在整个数据中心的是一个承上启下的存在,主要负责将同步至数据仓库,然后结合与公司业务场景的抽象进行维度建模。
随着业务的需要和技术的发展,同时又因为不同的技术实现工具站,目前数据开发团队行程了两个相对独立的小团队,离线数据开发,实时数据开发。一般需要熟悉的大数据生态中 Hadoop,Spark,Flink,Hive,HBase,clickhouse,Kafka 等技术栈。
整个数据仓库在不同公司组织方式不太一样,但大都包含了 ODS 层、DWD 层、DWS 层、ADM 层、DIM 层。
从维度建模的角度来说,有分为星型模型和基于星型模型演变的雪花模型。
数据开发团队主要任务就是在充分理解业务背景的前提下,基于维度建模的思想,结合数仓分层体系,面向全公司进行数据仓库的构建。
算法团队
这个团队也是随着人工智能技术发展与成熟而逐渐组间的团队,目前该领域的已经发展比较体系的知识结构。
从行业应用角度来看,主要是 CV(计算机视觉),NLP(自然语言处理),Audio(语音),推荐等方向。
算法团队的主要任务就是,将公司的不同业务场景下的问题,抽象为一个个的数学问题,比如金融公司在面对贷款申请的时候,是否决定贷,就可以通过数据挖掘的方法,结合该用户注册时填写的各种信息,集合其历史信用记录等,使用模型判断其是否可以放贷。
除了金融领域的封库问题,还有用户画像,推荐等常用的业务场景。
从技术角度来讲,从事算法工程岗位,需要具体很强数学,统计学的知识背景,还需要熟悉机器学习和深度学习领域里面的面向不同问题场景的算法,比如有监督学习中逻辑回归和线性回归,无监督学习中的聚类学习等。
数据分析师团队
数据分析属于与业务比较接近的岗位,主要处理日常的临时取数,数据报表,专题分析,可视化等需求场景,此外由于面向数据使用对象的不同,分析师又分为偏业务型和偏中台型。
数据分析师一般来讲需要比较扎实的逻辑思维,数理统计分析模型这样的基础型能力,同时也需要有较强业务抽象和 SQL 能力。
日常工作主要基于数据中台的数仓体系,完成对数据的提取以及基于某个问题的专题分析。
大数据与平台工具团队
这个团队所做的事情相对业务来讲,更加偏向与数据框架的底层。主要为整个数据中心的基础进行构建,比如数据开发人员的任务调度平台。面向数据分析人员的即席查询平台,面向与管理层的定制化数据驾驶舱平台。
总的来说,该团队就是负责数据的底层基础,以及面向不同人员的工具开发。
数据产品团队
正所谓,有人的地方就是江湖,有技术的地方就有产品,不然如何在相爱相杀中侧重商业的发展呢。
虽然数据产品时 2017 年才开始逐渐流行起来的岗位,但发展到现在也逐渐自己的小方向,主要包含以下三个不同侧重方向的产品。
应用型产品【基础型】:
主要针对数据的获取、展示、分析环节,主要应用方向有数据分析,报表开发。
平台型产品【进阶型】:
主要定位于通用能力建设,更加专注于效率。如指标体系管理系统,自助分析平台。
策略型产品【高阶型】:
主要针对的数据挖掘环节,主要应用有推荐,搜索,风控等。
不同方向的数据产品工作内容虽然各有侧重,但跨部门沟通、协作、推进,项目管理,产品设计,行业研究都是基础的通用能力。此外还需要具备较强的数据分析,大数据技术栈,数仓理论的了解与熟悉。
相比传统的产品经理,数据产品会更加侧重对技术的了解,主要是因为数据发的分析相当程度上以来数据,而数据的获取则与大数据技术栈关系比较大。在对整个数据流转比较清晰的基础上,才可能最大限度的服务于数据产品的核心目标:效率与价值。
任何组织架构的设立,都以满足一定环境下的技术环境和业务环境,大数据底层的技术栈一直不断的迭代中,且商业环境也有政策等各种因素交织影响,所以后续数据中心的组织架构模式也会不断的进行演变。
那么基于当下技术和业务环境下,不同的团队是如何协作与沟通,构建数据中心的大数据框架呢?且看下回讲解。
题图来自 Unsplash,基于 CC0 协议。
版权声明: 本文为 InfoQ 作者【Breeze】的原创文章。
原文链接:【http://xie.infoq.cn/article/d7084ddd371f219c32223f709】。文章转载请联系作者。
评论