获奖公布｜构建基于容器技术，承载数据类有状态工作负载的数据云平台，技术挑战有哪些？

花斯基

关注

发布于: 2021 年 01 月 06 日

获奖公布｜构建基于容器技术，承载数据类有状态工作负载的数据云平台，技术挑战有哪些？

容器技术是顺应云计算发展进程，为解决应用问题而诞生的可靠方案。如今，企业数字化转型的加速催生了更具前瞻性的理念：数据云。

数据云同样是一种支持企业更高效、优质实现云计算工作的技术，这是满足传统企业上云，以及多样化应用场景开发需求的首要选择。

在云原生时代背景下，国内也陆续展开了数据云平台的开发与实践。星环科技通过云原生、大数据和 AI 技术构建，研发多种云计算服务和产品，为当前存在的数字化转型挑战提供了实际应对措施。

你对数据云又有什么见解呢？欢迎大家在下方评论区谈谈你的想法。

我们将从写作平台的话题讨论中随机选出三位朋友送出星环新年大礼包！

点击这里查看更多详情！

发布于: 2021 年 01 月 06 日阅读数: 876

花斯基

关注

还未添加个人签名 2020.09.01 加入

还未添加个人简介

评论 (11 条评论)

发布

白衣胜雪

数据驱动，AI赋能，智联世界是数字化转型的核心。以容器技术为核心的云原生，微服务和服务网格不光对应用服务提出要求，数据服务也是一个不得不解决的课题。数据驱动和AI赋能离不开数据服务，传统的大数据平台基本都基于Hadoop生态和开源组件建立，基于容器技术的统一调度目前都是一个未完全解决的问题，至少一段时间内以下几个技术挑战依然存在：
1、大数据核心组件上云（容器云）；
2、存储计算分离；
3、流批统一；
4、仓湖一体；
承载数据类有状态的工作负载，虽然K8S提供了以operator为基础的工作机制，但庞杂的技术栈和繁多的组件亦然面临N多的砖头要搬。

展开

2021 年 01 月 13 日 15:05

 0 回复

架构精进之路

1、什么是数据云？
数据云，基于容器云的数据服务平台。以数据为核心、以云原生为技术底座，建设一个统一的兼容数据和应用的云，这是容器云未来的发展路径。

2、认识“云平台”
即云计算平台的主要分层结构，从下到上依次为：
1）IaaS：Infrastructure-as-a-Service（基础设施即服务），可以理解为企业的IT基础软硬件设施，如常见的硬盘、服务器、数据中心及相应的操作系统、虚拟化软件、网络管理系统等。IaaS云服务商会提供场外服务器、存储、网络硬件或基础IT软件，用户可以租用，从而降低IT基础维护成本和减少场地占用，同时会提供更高等级的系统安全性。
2）PaaS：Platform-as-a-Service（平台即服务），是面向企业具体业务应用的云平台，类似于计算机的操作系统，PaaS是云平台的操作系统。PaaS系统提供商基于强大的基础IT设施和规模化基础网络系统，为具体的业务领域，开发和维护业务云平台，并作为服务提供给最终用户。
3）SaaS：Software-as-a-Service（软件即服务），即在PaaS平台上运行的云服务应用软件。在SaaS层，用户可以使用PaaS平台提供商的即有SaaS服务，也可以使用第三方SaaS服务商提供的数据分析、管理等各类应用服务，对于有特殊功能需求、且具备开发能力的用户而言，甚至可以在PaaS平台上开发和使用自己的应用。

3、云平台的选择，关键在于PaaS层
因为基础层的IaaS已高度标准化，选择范围不大；而SaaS又紧密关联具体业务环节，往往是原有本地化应用和服务的云端延展，选择标准也相对固定。只有PaaS平台承上启下，是企业承云的关键部分，也处在不断发展的过程中，选择云平台时候需要仔细斟酌。

4、云平台的核心价值在于数据分析
企业数字化进程加快后，数据进入了爆发增长期，分析、整理这些数据，并得出结论，有助于开启全新的业务模式，创造可观的价值。基于云平台的智能数据分析和评估，将为工业决策过程提供重大帮助，也将对提高生产率做出直接的、决定性的贡献。

5、企业做数字化转型的必要性
对于企业而言，数字化转型的根本是通过数据来推动业务的增长。这些数据是通过各种新技术来获取的，不管是信息技术、虚拟现实、机器人还是大数据。通过对业务模式，业务流程，企业组织的改造，让所有的业务能够基于数据进行驱动，从而实现更好的客户体验，更高的组织效能，形成新的价值。

6、未来价值思考
数字化时代是一个赢家通吃的时代，一个产品的推广速度已经远超过以往。
数字化转型无异于对一家企业脱胎换骨，洗经伐髓。转型的过程注定是艰难和痛苦的。但当一家企业完成了从业务形态，组织结构，技术管理、企业文化、人员组成的数字化转型，无疑是一种升华和重生。

展开

2021 年 01 月 12 日 22:24

 1 回复

程序员小陶

作为一个数据开发工程师，来谈谈我的理解，如有错误，欢迎指正。

1.先说下背景：
企业的数据越来越多，越来越多样化，增长速度也很快，对于小公司来说，建设自己的数据中心是一个非常不容的事情，建设成本也非常高。
2.挑战：
云计算本身提出的时间比较早，但是真正落地的公司不多，一是前期投入较多，二是对技术能力有很高的要求。数据安全性问题、数据容灾都是要考虑的问题。
3.好处：
数据云的落地，可以帮助大部分企业降低数据存储、计算以及使用成本。

展开

2021 年 01 月 12 日 18:32

 1 回复

石云升

小程序其实就是云原生的雏形，未来手机真的不需要APP了，大部分数据和计算都可以放在云上。如果计算也放在了云上，那么对高端芯片需求也就没那么高了。这个方向是非常好的，未来的空间很大。。

2021 年 01 月 12 日 18:30

 1 回复

贾献华

云原生是面向云应用设计的一种思想理念，充分发挥云效能的最佳实践
路径，帮助企业构建弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维
复杂度。代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。

因此我们今天说的容器云平台，已经不是指 CaaS，而是指以容器技术为核心，结合云原生技
术，以支撑企业数字化为目标构建的数字云平台。它已经成为基础设施的重要一环，随着容器
技术的不断普及，越来越多的架构、框架开始拥抱容器生态，向云原生进行迁移，如 Flink、
Spark、TensorFlow、Serverless 等。未来，容器技术也将会在隔离性、安全性等方面的不断完
善，扩展更多的使用场景。随着新基建浪潮的推进，我国的企业数字化转型步伐将继续加快，
容器、云计算、大数据等新兴技术势必得到更好的融合，更加快速地推广。

展开

2021 年 01 月 12 日 18:25

 0 回复

pingan8787

个人水平有限，没太看懂哈，我本身是一名前端开发者，我比较好奇在降低企业成本提升能效的同时，对前端开发有何帮助😊😊

2021 年 01 月 10 日 02:03

 1 回复

xcbeyond

在2020年，催生了许多企业向数字化转型，在数字化转型阶段，大家都纷纷效仿上云、容器化、微服务化、中台化等。其实，好多企业已逐步在“数据云”方向试探，如：以云平台为基础，容器化为部署手段，将数据中台+AI中台等进行组合，实现数据共享、数据智能挖掘等能力，提升企业的快速创新、可持续发展。这本质上就是“数据云”的体现。在未来数字化时代，数据云的地位将会越加凸显出来，也将是未来发展的趋势。

面对容器技术或数据云的更多挑战，可能有以下几个方面：
1、规避风险。传统企业因存在大量存量系统，并且系统间差异较大，决策者为规避风险，很难抉择实施容器化、上云平台。如：银行。
2、观念转变。技术团队人员能力配置欠缺，存在新技术短板，很难快速完成技术观念的转变（虚拟机时代 -> 容器化时代 -> 云平台时代…）。
3、价格昂贵。
4、过度追捧。过度追求容器化，最终变成“为了容器化而容器化”。（并不是所有应用都适合容器化）

展开

2021 年 01 月 07 日 22:51

 0 回复

soolaugust

传统企业本身不断产生大量的数据，但缺少的是数据的分析，转化，展示和利用。目前不断发展的基于容器的云原生更多的是利用算力达到数据的存储，分析和建模。容器云对无状态服务处理起来更加得心应手，但是如何利用容器云来处理数据才是现实中经常遇到的问题。目前传统企业上云缺少相应的技术和经验支持。而相应的数据云平台也都并不统一，各有各的实现方式。如何对接传统企业复杂的数据产生场景，提供便捷式的数据分析，存储，展示等服务才是数据云的核心问题。

2021 年 01 月 07 日 22:32

 0 回复