解锁企业数据管理的利器——DataOps

AIGC 风暴席卷全球，行业即将大变天？众所周知 AI 的三大基础是数据、算力和算法。而数据好比是 AI 算法的“饲料”，想要把 AI 算法养大养肥，数据管理对于企业而言显得越发重要！

2019 年，党的十九届四中全会首次将“数据”增列为一种生产要素，数据要素所引发的生产要素变革，正在重塑企业的生产方式和商业模式。2023 年，十四届全国人大一次会议提出组建国家数据局，负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用，统筹推进数字中国、数字经济、数字社会规划和建设等。

在数字经济时代，企业逐步发展成为一个数字型企业，对数据质量水平和数据生产效率提出了更高要求。DataOps 通过引入敏捷交付、智能治理、资源运营的理念与方法，指导企业建立企业级的数据管理，加快数据开发流程，提升数据应用效率，构建数据资产价值闭环。

01 关于 DataOps 的发展历程

DataOps 强调数据团队的敏捷协作和持续提升。2014 年 Lenny Liebmann 首次提出 DataOps 的概念，他认为 DataOps 是优化数据科学和运营团队之间协作的一系列实践集。

2018 年，Gartner 将 DataOps 列入了 Data Management( 数据管理) 的技术成熟度曲线，Gartner 认为 DataOps 是一种协作数据管理实践，专注于改善整个组织中数据管理者和数据消费者之间数据流的通信、集成和自动化。

2021 年，中国信息通信研究院在《大数据白皮书( 2021) 》中将 DataOps 定义为数据管理的升级，强调构建从数据生产端到数据消费端的数据流，实现静态数据管理与动态数据流的融合，而这一融合过 程通过“开发治理一体化”实现。

2022 年，中国信通院发布了《数据研发运营一体化（DataOps）能力模型》，定义了 DataOps 能力标准框架与研发管理的标准编制，为企业进行 DataOps 能力建设提供指导和参考依据，为 DataOps 能力建设及运营的成果提供评估模型和评价方法。

DataOps 是对 DevOps 在数据领域的延伸。DevOps 是 IT 领域的概念，强调 IT 建设和软件开发的敏捷性、协作性，并通过构建软件开发的价值流、提高软件开发的自动化水平实现。DataOps 借鉴了 DevOps 理念中敏捷快速、持续集成的关键点，强调通过调整文化、流程和使用的工具，在安全合规的前提下，快速提升业务价值，同时将持续迭代数据架构，不断强化组织的数据思维。DataOps 还鼓励业务线利益相关者与数据工程、数据科学和分析团队协作，以努力减少 IT 运营和软件开发团队之间的孤岛。这确保可以以最具适应性和最有效的方式利用组织的数据，为业务运营提供理想的结果。

02 DataOps 与 DevOps 的区别

DevOps 将开发和运营相结合，通过整合人、流程和技术，实现应用程序规划、开发、交付和运营的协调和协作。DevOpsevOps 只关注了自动化部分，让软件工程师更有效率的工作，如强调自动化、标准化和流程优化。DevOps 的过程主要包括需求管理、数据开发、自动化构建、自动化测试、自动化部署、持续集成与持续交付、服务运维等活动。但随着数据多样性和复杂性的增加，涉及到测试和管理一些跨环境的数据时，这些不断变化的数据将对数据的运用和管理带来一系列的挑战，随着业务的发展，数据分析所需要的技能和涉及的人员越来越多，DevOps 在对快速迭代的业务上显得越来越乏力。

而 DataOps 是一种将敏捷软件工程方法与数据处理和分析结合起来的最佳实践、流程和技术，DataOps 更全面地审视我们如何交付数据产品，特别是在获取业务成果方面。通过采用自动化、标准化和流程优化等手段帮助企业快速发现和利用数据洞察，从而增强业务竞争力。

与 DevOps 不同的是，DataOps 的运作过程是通过编排工具进行串联和整合，形成一个闭环、可迭代的数据处理流程，包括了数据采集、数据预处理、数据存储、数据分析、数据交付、数据运维、数据治理等活动。通过不断优化和改进 DataOps 流程，为软件工程师到数据分析师、业务运营人员和数据科学家等提供多样化的工具和方法，来支持这些数据消费者的使用。为业务实现加快数据分析的速度，缩短数据处理时间，提高数据的质量和可靠性。

03 DataOps 与传统数据工程的区别

DataOps 与传统数据工程相比，更强调整个数据生命周期的自动化、敏捷和安全性，以及所有涉及方的协作和持续改进。DataOps 是一种面向“完整数据生命周期”的方法，它将整个流程都视为一个系统。DataOps 强调从数据的构建、部署到维护的自动化和标准化，采用敏捷方法和 DevOps 工具，以实现更快、更高质量和更安全地交付数据和分析。DataOps 还注重数据治理、安全和合规性等问题，通过持续集成和持续交付，确保数据流程的质量和稳定性，并在业务需求变化时快速响应和调整。

而传统数据工程主要关注构建和维护数据管道和数据基础设施。这些数据架构和基础设施通常是由独立的开发和运维团队构建和管理的。数据工程师使用一系列工具和技术来设计和实现数据管道，如 ETL 工具、编程语言、数据库等等。然而，这种割裂的运作方式会导致数据流程中的延迟和错误，也难以满足快速变化的数据需求。此外，传统数据工程往往无法满足数据安全和合规性问题。

04 DataOps 是如何运作的？

DataOps 定义了数据管理的新模式，把数据管道，数据技术、数据处理流程和团队有效结合起来。韦恩.埃克森提出的一个 DataOps 的框架图，中间这里指的是一个典型的数据管道，表示从数据来源到数据分析的全管道过程，下面是数据管道用到的相关技术，上面是整个数据管道的处理流程，包含持续集成、持续部署、编排和测试、监控等流程。通过管道编排能力，数据技术实现能力和数据任务持续集成持续部署能力，实现数据分析任务的多角色协作和敏捷交付。总的而言，DataOps 是将 DevOps 的敏捷开发和持续集成应用到数据领域，优化和改进数据管理和数据消费者的协作，持续交付的数据生产线。

05 DataOps 对企业有哪些价值？

01、提高数据生产效率

DataOps 通过优化数据生产流程、自动化测试和部署等手段，加快了数据处理和分析的速度，提高了数据生产效率。

02、增强数据质量

DataOps 强调数据的质量和一致性，通过数据管理、数据验证和监控等手段，保证数据质量和可靠性，提高数据价值。

03、促进数据团队合作

DataOps 倡导跨部门合作和协作，促进了数据团队的协同工作和知识共享，提高了团队的生产效率和工作质量。

04、降低 IT 成本

DataOps 通过自动化和标准化的方式，减少了手动干预和重复工作，降低了 IT 运营和维护的成本。

05、实现业务创新

DataOps 能够提供高效的数据处理和分析能力，促进业务创新和数字化转型，为企业带来新的商业机会和增长点。

DataOps 作为一种新兴的数据运营方法论，旨在通过持续集成、持续部署和持续监控等手段，实现数据工作流程的自动化和优化。DataOps 的出现，为企业在数据领域的数字化转型提供了新的思路和方法，不仅可以加速数据的交付和创新，还可以提高数据的质量和可靠性。

在实践中，DataOps 可以帮助企业有效地应对数据研发和安全性等挑战，同时也可以促进数据团队和业务团队之间的协作和沟通。总之，DataOps 的发展和应用将会对企业的数据治理和数据价值实现产生积极的影响。