落地 DataOps，必须克服的挑战有哪些？

导读：DataOps 是一种最新的高效使用数据和改进数据驱动决策的新工具。企业应该为迎接 DataOps 带来的挑战做好准备，并学习如何克服它们。

近年来，随着数据量的爆炸式增长，高管们面临着巨大的压力，要求他们充分利用所有数据。然而，他们的努力经常受阻。根据 NewVantage Partners“2022 年数据和人工智能高管调查”，97% 的受访企业表示他们正在投资数据计划，但只有 47.4% 的企业在数据和分析方面展开竞争；只有 39.7% 的人将数据作为企业业务资产进行管理，只有 26.5% 的人表示拥有数据驱动的企业。

为了应对如此糟糕的表现，负责人正在使用 DataOps 中的原则和实践来帮助企业高效地使用数据做出决策、提升企业的洞察力并推动自动化和智能计划。

根据 ESG 于 2022 年 4 月发布的“DataOps 状况”报告显示，在 403 名技术和业务数据专业人士中，90% 的受访者表示计划在来年对 DataOps 进行适度或广泛的投资。

但是，企业引入 DataOps 就万事大吉了，在这个过程中可能会遭遇哪些挑战呢？

企业的数据负责人列举了围绕确保合规性、遵守治理标准和及时访问新数据等方面面临的挑战，作为采用 DataOps 的主要驱动力。然而，数据负责人、研究人员和执行顾问表示，企业在成功采用和完善 DataOps 的过程中也面临着多重挑战。

具体来说，在企业内实施、使用和扩展 DataOps 面临的主要挑战包括以下五条：

1. 不清楚 DataOps 的含义

DataOps 的概念已经存在了近十年，但是就像它的表亲 DevOps 一样，没有单一的公式或包罗万象的指南来准确说明它的含义。IBM 负责数据和人工智能的产品管理副总裁 Jay Limburn 说，事实上，技术供应商通常对一个新概念都要求有自己独特的看法。

因此，学习制造商 Skillsoft 技术与开发产品副总裁 Mike Hendrickson 表示，企业数据负责人必须确定正在出现的最佳实践和开始标准化的方法，以创建适合其企业的 DataOps 计划管理系统软件和内容。

另外，企业的数据负责人也应该是敏捷的，因此他们准备好随着学科的成熟和新的支持技术进入市场而适应它们。

DataOps 仍处于成熟周期的早期阶段。从工具和流程的角度来看，预计会有很多变化和进步。

附：重申一下什么是 DataOps？

DataOps 即数据操作的缩写，是一系列实践、原则、技术和人员职位的集合，旨在创建有效的数据处理。

“DataOps 的核心和灵魂是编排。通过管道移动、处理和丰富数据需要一个复杂的任务工作流程，并具有许多依赖项，”专业服务企业 Genpact 的数据咨询和架构负责人 Neel Shapur 说。

DataOps 借鉴了软件开发领域的概念，例如 DevOps 的迭代和协作方法，旨在通过打破数据孤岛、增加自动化和执行治理规则，帮助企业内的数据负责人在正确的时间安全地将正确的数据交付给正确的用户。

“DataOps 提供了以快速可靠的方式查找、信任和理解数据的能力，”咨询企业和 IT 服务管理企业 Kalypso 的数据管理实践负责人 JP Romero 说。

2. 无法找到从哪里开始，如何开始

根据研究机构 IDC 的数据，到 2020 年全世界创建或复制了 64.2 泽字节的数据。预计到 2025 年，全球数据创建和复制的年复合增长率将达到 23%。

尽管没有任何企业能够掌握如此多的数量，但大多数企业仍然无法很好地管理自己的数据。其中，最典型的困惑就是不知道从哪里开始应用 DataOps 原则以及如何使它们逐步成熟起来。

IT 服务管理企业 TEKsystems 的实践咨询总监 Ramesh Vishwanathan 说，“定义 DataOps 成功与否的关键问题是企业应该从哪里开始，如何开始。这对所有企业都是一样的。

企业首先应该确定的是，在哪些领域进行试点和实践 DataOps，然后再将其扩展到企业内的所有数据和数据使用。换句话说，采取最小可行的产品（MVP）方法并从那里发展和衍生。

正如 Kalypso 数据科学技术经理 Hector Rueda 所说，将 DataOps 专注于解决从基础元素到价值交付的一组有限数据用例的 MVP。一旦 DataOps 的最小可行产品证明了它的价值，就可以通过扩大范围来横向扩展。

当然，企业还应该找到衡量其 DataOps 计划有效性的方法。“这将帮助企业知道自己是否朝着正确的方向前进”Vishwanathan 说。

3.缺乏数据基础

DataOps 将人员、流程和技术结合在一起，以协调企业内高效且安全的数据流。为此，企业必须在所有领域都具备适当的关键组件。

更具体地说，寻求利用 DataOps 的企业应了解以下内容：

• 拥有哪些数据资产以及该数据的质量；

• 该数据当前如何流经企业；

• 数据孤岛是否继续存在以及如何消除它们；

• 企业希望如何使用数据；

• 存在哪些数据治理；

• 如何支持所有这些元素的技术组件和人才。

DataOps 需要技术投资、企业重组和变革管理相结合。所以，必定会存在技术、运营以及人力和文化障碍，然而，许多企业缺乏部分或全部这些元素。他们还缺乏数据文化和数据策略，而缺乏这些基础知识可能会阻碍在企业内成功实施 DataOps 的尝试。

为了解决这个问题，数据负责人应该专注于构建数据程序的基础元素，这样他们就有了采用 DataOps 所需的东西。

Protiviti 技术咨询实践高级总监 Dan Sutherland 表示，企业需要将数据和数据事实部署放在首位和中心位置，而不是将其视为软件开发周期中的“事后考虑”。企业需要更加关注数据生命周期的所有元素，包括数据管道、存储、数据建模和消费模式的设计和开发。

此外，企业的数据负责人应该优先考虑以下事项：

• 用提供数据管道完整可见性的现代技术栈替换遗留数据技术栈；

• 投资于整个企业的数据素养培训；

• 提高数据团队的技能，因此他们准备好在这个新环境中工作。

创建一个可靠的数据战略，强调缩小当前状态与企业需要使用数据来实现关键目标之间的差距的好处是关键。

“确定可以支持该计划的高级管理人员，”JP Romero 说。“接触那些对引入 DataOps 有积极响应的人，投资于可以培养健康数据文化的数据素养计划。”

4. 缺乏领导认同

企业遇到的另一个挑战是如何说服领导层支持 DataOps 工作。企业围绕数据的文化越成熟就越容易实现。

“对于每天使用数据的人来说，说出‘我们需要这个’这句话很容易，但领导层有时并不总是能看到需要。所以，得让领导层看懂采用 DataOps 的意义，”Kalypso 数据管理实践主管 JP Romero 说。

这一观点得到大多数人的赞同。企业中没有成熟数据文化或从数据驱动的洞察力中获益的高管，通常企业都不愿支持对 DataOps 的投资。

“企业正在慢慢意识到必须将数据视为战略资产，”JP Romero 说。“那些将他们的数据工作与其业务战略需求联系起来的人，会发现更容易从他们的数据中释放价值并为他们的数据项目提供资金。”

作为全球领先的 DaaS 平台供应商，麦聪软件积极拥抱 DataOps 新概念，专注于为客户构建轻量级的数据中台，提升企业数据统一管理和服务能力，支持元数据管理、数据开发、数据治理、数据市场、数据服务化等功能。仅仅两年多的时间里，麦聪软件已经赢得了 400 多家企业客户，其中 30 多家为国际 500 强，行业覆盖汽车、重型装备、电力、军工、政府等。

5. 管理变革的问题

DataOps 要求人们从根本上改变工作方式。这种变化不会在一夜之间发生。

让员工采用新的实践和敏捷的工作实践并不容易。通常，他们缺乏技能和时间来学习新技能。DataOps 还需要新的软件实践思维方式。

因此，数据负责人应该将变更管理原则纳入他们的 DataOps 计划，以确保他们能够成功地将人们转移到一种新的工作方式和思考数据的方式。