数据平台的发展历程

现在各种“数据中台”，“数据仓库”，“数据平台”，“湖仓一体”各种名词眼花缭乱，归根到底就是计算和存储数据的地方。随意数据量的爆发，各种新技术不断涌现。但万变不离其宗，可以看一下数据平台的发展历程。

第一阶段是在数据库时代。数据库最早诞生于 20 世纪的 60 年代，现在用的关系型数据库出现在 20 世纪 70 年代，并在后续的 30 年左右时间里大放异彩，诞生了很多优秀的关系型数据库，如 Oracle、MySQL、PostgresSQL 等，成为当时主流计算机系统不可或缺的组成部分。到 20 世纪 90 年代，数据仓库的概念诞生。此时的数据仓库概念更多表达的是如何管理企业中多个数据库实例的方法论。

第二个阶段是大数据的探索期。21 世纪初，数据量的大爆发，原有的关系型数据库已不能满足大批量数据的计算和存储。这个阶段诞生了包括 Google，微软 Cosmos 以及开源 Hadoop 为代表的优秀分布式技术体系。此时人们兴奋于追求数据的处理规模，即“大”数据。

第三个阶段是发展期。随着越来越多的资源投入到大数据计算领域，大数据技术进入一个蓬勃发展的阶段，整体开始从能用转向好用。以开源 Hadoop 体系为代表的的开放式 HDFS 存储、开放的文件格式、开放的元数据服务以及多种引擎（Hive、Presto、Spark、Flink 等）协同工作的模式，则形成了数据平台处理大数据的有力工具。