腾讯云大数据发布数据生态战略，构建开源开放数仓生态

2020 年 12 月 20 日，在腾讯 2020 Techo Park 开发者大会大数据专场上，腾讯云大数据产品总经理聂晶对数据仓库近 30 年发展历程做出总结，并分享了他对目前行业的认知以及未来发展的判断。聂晶表示，当前技术环境变化飞速，单一主体企业难以应对数仓领域爆发式发展挑战，腾讯云希望通过开放开源的生态给用户带来更为透明和精细化的技术及产品服务，助力企业生产力加速提升。

数据仓库从 1991 年被正式提出，历经近 30 年的发展历程，企业对数据仓库的重要性感知愈加强烈，同时数据仓库在企业端越来越走向成熟和理性。

“企业不再停留在数据集合的高效存储和运算，越来越聚焦于数据的场景化应用创新和数据价值释放的最终目的，这也是数据仓库的真正目的所在” 聂晶强调。

随着企业关注价值点的变化及构建主体趋向于一线业务团队的趋势，也带来了企业数据仓库构建敏捷度的更高要求。基于云计算实现分钟级构建和扩展的云原生数据仓库设施，因为其技术先进性和交付模式的先进性，成为了当前数据仓库技术的技术核心。

在这一过程中，伴随当前技术持续爆炸式演进，仅依赖企业自有 IT 能力已经越来越难于应对当前和未来的挑战，如何有效借助于外部资源高效地迎接未来的技术挑战，成为企业 IT 技术团队长期而持续的技术难点。

聂晶介绍，作为一个开放的云厂商，腾讯云结合腾讯数据技术实践、开源技术组织和商业化技术合作伙伴能力，在云端提供了涵盖 Hadoop、ES、MPP 数仓在内的，丰富易用、开源开放的开箱即用数据基础设施和数据工具，可以帮助企业快速构建安全、稳定、可扩展、可高效运营的数据 IT 架构。

同时，聂晶判断在未来五年内，将会有 85%以上的企业将会把企业数据仓库转移到云端，数据仓库的云端构建将会成为企业的第一优选。面对需求爆发式的增长，聂晶发布了腾讯云大数据开源开放的数据生态战略。此次数据生态战略包含数据技术、数据产品、数据服务市场三个层面的内容。

首先在技术上的开源开放方面，腾讯云协同开源社区提供开放的技术体系，并通过开源的方式将自己的技术反哺给社区。其次在产品生态开源开放方面，将臻选商业化公司的数据产品提供到与原厂产品同等的市场地位，让客户享受到更丰富和优秀的数据产品和服务。同时，腾讯也希望将数据服务市场开放给合作伙伴和开发者，让大家都能发挥自己的能力。

最后他总结，“我们也希望基于这样更开源开放的生态，用户可以享受更为透明和精细化的产品和服务的能力，带来更大的生产红利。”

以下为腾讯云大数据产品总经理聂晶演讲实录：

大家好，我是来自腾讯云大数据团队的聂晶。北京今天天很冷，非常感谢大家花费宝贵的周末时间来到我们 techo 的大数据专场。也非常希望大家在这样一个平台上畅所欲言，能有所收获。

今天咱们回归到数仓这个发展接近 30 年的话题，这算是一个老话题，但今年突然大家讨论非常多。在海外有近千亿美金市值的数仓技术公司成功上市、在国内也有越来越多的新创技术公司和实力雄厚的技术公司进入到这个领域。

除开行业和资本的热度之外，我们也看到从 1991 年数仓正式被提出以来，经过接近 30 年的发展历程，企业对数据仓库的重要性感知也愈加强烈。在当前, 95%的成熟型企业已经构建了完备的企业数据仓库架构，并且在持续依托云计算技术和大数据技术进行技术架构演进；80%的云端初创型企业开始把数仓决策业务前置，作为初创期与业务平台同期构建，以提升初创型企业数据驱动业务的敏捷度。甚至，我们看到部分企业在数仓这里的投入最高可以达到 30%以上，这在 1991 年的数仓史前时代是几乎不可以想象的景象。

在过去 30 年的数据仓库发展之路中，数据规模和价值密度的变化激发了数仓产业的本质性革新。

随着 30 年的行业演进，小型机为代表的第一代单一传统关系数据库技术已经无法适应这个时代；因此，在技术领域持续涌现出了 MPP 数仓、SQL On Hadoop、ELK 这样的优秀新兴技术，组成了第二代数仓技术的百花齐放时代，这个阶段中，我们也看到他们的发展历程中呈现了融合式演进趋势，催生着数仓技术的剧烈化学反应；随着数据仓库在企业端越来越走向成熟和理性，企业不再停留在数据集合的高效存储和运算，更越来越聚焦于数据的场景化应用创新和数据价值释放的最终目的，因为这才是数据仓库的真正目的之所在。

随着企业关注价值点的变化及构建主体趋向于一线业务团队的趋势，也带来了企业数据仓库构建敏捷度的更高要求。传统数仓耗时数月的构建效能在数仓发展 30 年后的今天，越来越成为企业的瓶颈；基于云计算实现分钟级构建和扩展的云原生数据仓库设施，因为其技术先进性和交付模式的先进性，成为了当前数据仓库技术的技术核心。

如何高效构建与运营一个稳定、可扩展的数据仓库是当前企业在构建数仓中遇到的第一个初始挑战，这是对企业当前 IT 技术能力和运营能力的初始挑战，以前更多客户会采用商业化产品和服务来应对这个挑战，但随着云计算的发展，当前更多客户会愿意用云所提供的开箱即用的数仓产品和服务来应对第一个阶段的挑战。

随着数据每年三倍，甚至五倍的高速增长，企业发现当前急待通过新技术、新商业模式解决当下和未来的成本挑战，在传统 IT 架构下降低 IT 综合成本的效果较为局限；如何消减倍增数据规模下的成本增速，成为一个精细化运营企业无法回避的话题。云端数据 IT 设施的新技术、新产品、新服务模式越来越成为企业数据 IT 成本节约的新动能。

接下来，企业进入到数据价值获取阶段，部分企业鉴于对数据业务的场景化理解力局限性，难于有效结合自有企业数据业务进行数据价值创新探索；在构建完数据基础架构的企业，越来越希望向企业组织提供到平民化的数据创新力，让企业全员都能够参与到无限制探索数据业务创新，让数据资产真正成为成熟业务的助推剂。事实上，企业更容易忽视的是，在当前技术持续爆炸式演进中，仅依赖企业自有 IT 能力，已经越来越难于应对当前和未来的挑战，如何有效借助于外部资源高效地迎接未来的技术挑战，成为企业 IT 技术团队长期而持续的技术难点。

单一主体的企业难于应对数仓领域的爆发式发展挑战；但我们也深知，一个脱离于生态的云厂商也难于有效帮助到云端的企业客户应对这样的未知挑战。

作为一个开放的云厂商，腾讯云结合腾讯数据技术实践、开源技术组织和商业化技术合作伙伴能力，在云端提供了涵盖 Hadoop、ES、MPP 数仓在内的，丰富易用、开源开放的开箱即用数据基础设施和数据工具，可以帮助企业快速构建安全、稳定、可扩展、可高效运营的数据 IT 架构。同时开放云生态的技术能力也将有足够能力保障好企业未来数据技术演进中的技术安全性问题。

同时，在云端提供的数据产品带有极强的云特性，越来越多企业通过大数据存算分离、算力融合、负载弹性扩展等产品/技术策略来持续不断地优化数据倍速增长中的综合 IT 成本。开放云生态中的客户技术实践、解决方案合作伙伴的商业化服务都将能把数据价值创新的技术、经验、商业模式，通过腾讯云培训及技术沙龙平台，传导到生态中的每一位参与者，云端企业可以以此作为数据价值创新过程中的催化剂，真正实现企业的数据价值转换。我们也认为，在未来五年内，将会有 85%以上的企业将会把企业数据仓库转移到云端，数据仓库的云端构建将会成为企业的第一优选。

今天，我们在这里发布一个重磅的开源开放的数据生态战略。这个数据生态战略包含三个层面的内容。

第一个是我们技术上的开源开放。包含腾讯自有技术与商业化公司和开源组织的技术共享与协同。其中有类似 Angle 这样的优秀技术贡献到社区，也有类似 Ozone 这样的开源技术的腾讯侧深度技术参与。

第二个是我们产品生态上的开放。我们将会为新创公司和商业化公司的臻选数据产品和服务提供到与自研产品同等的市场地位。让我们的客户享受到更为丰富和优秀的数据产品和服务。

第三个是我们服务生态的开放。我们希望服务市场也开放给我们的合作伙伴和开发者，让大家都能发挥自己的能力服务好我们的用户。我们的用户也能因为这个开源开放的生态，享受到更为透明和精细化的产品和服务能力所带来的的生产力极大提升的红利。

技术的发展没有终点，腾讯云大数据将坚守行业阵地，与合作伙伴共谋发展，以不断优化的性能和技术、更极致的产品体验服务用户、回馈用户。

立即观看 Techo 大数据专场《开源开放 构建云上数仓生态》专题回放

关注“腾讯云大数据”公众号，技术交流、最新活动、服务专享一站 Get~