干货！DataPipeline2021 数据管理与创新大会全篇划重点

关注

发布于: 5 小时前

7 月 29 日，以“万「向」更新”为主题，DataPipeline2021 数据管理与创新大会在北京成功举行！中国信通院云计算与大数据研究所副所长魏凯、中信银行信息技术管理部架构管理处处长卫东、民生银行总行科技大数据管理部技术专家钟行、山东省城商行联盟核心运维组技术专家倪俊甜、中国信息协会专家范克峰、华为计算产品线 openGauss 数据库产品总经理胡正策与 DataPipeline 数见科技管理层及来自该领域的专家学者、用户代表、生态伙伴共聚一堂，共话产业机遇与挑战，共探数据管理与创新实践新模式。以期通过“万「向」汇聚，数据新生”的共识，创造行业新价值。

DataPipeline 表示，数字化转型被按下加速键，产业升级对实时数据管理能力提出前所未有的要求，所有数据都被要求相互连接并能随时被看到、被感知、被调用。实时数据管理体系的建设既需要看透“前期实时数据平台建设、中期深化实时数据价值释放、远期实时数据驱动业务发展”大周期的视角，也需要从平台类基础设施构建出发、对“人员、流程、技术”持续精进的耐心。这种秉承长期主义的原则与 DataPipeline 数见科技的产品与技术发展理念不谋而合。

01 数据要素化催生技术与管理变革

数据全生命周期管理与价值导向的运营管理成为发展方向

中国信通院云计算与大数据研究所副所长魏凯

随着信息经济发展，数据早已和其它要素一起融入经济价值创造过程。中国信通院云计算与大数据研究所副所长魏凯表示：当前，我们处于迎接数据生产要素崛起的新时代。在数字化转型过程中，数据作为生产要素，一方面在驱动产业智能化、催生新的生产组织形态方面的作用不断显现，推动新型产品和服务的创造；另一方面，作为参与分配的要素，数据背后涉及经济结构的变化。它对于我们数据的技术、底层基础设施等有很大的需求，所以我们管理体系、理念、方法论也有很大创新的需求。这主要体现在：

第一. 数据要素化需要一场技术革命：

组织内部从以前追求数据高效处理、追求更快更大，到今天更重视数据更加智能及良好的治理。数据不再是简单地放在数据库里就能产生价值，而是要高质量的融合起来，真正让它成为闭环里面一个不得不做的要素。在组织间，跨机构的数据以前更多是要保护，隔离，锁在保险柜里保密。今后为了做产业互联网，数据要实现上下游打通、政企打通、企业之间打通，所以其关键词变成了开放、融合，从而又有了隐私计算、区块链。我们发现，组织内及组织架构的数据流动在变化，组织的技术重心也在变化。大数据产品技术越来越丰富，应用愈加广泛，数据的一站式、全生命周期管理是我们看到的方向。

第二．数据要素化也在推动管理的变革：

以数据治理为核心的数据资产管理体系逐步成熟，以数据运营为导向的数据资产管理体系处于萌芽。数据管理 2.0 数据开发运营一体化从管理本位的角度转变到服务业务的角度，数据管理工作更多为了业务的创新、为了发展，这对平台自动化、快速响应需求，多团队协作、运营驱动管理提出更高要求。该趋势下，很多企业开始做了 DataOps 的实践。DataOps 是一种协作式数据管理的实践，致力于改善组织中数据管理者与使用者之间数据流的沟通，集成和自动化。其核心理念有：敏捷开发、治理闭环、安全可信、持续运营，这也确是数据管理的必然方向。

中国信息协会专家范克峰从数字化转型角度谈数据管理之变，也与以上观点相契合。在数字化转型的路径考量上，产品选型和组织方式都是重要环节。针对前者，技术实现方式千差万别，强调企业要根据自身发展情况和行业属性选择适合自己的数字化工具。针对后者，绝不可忽视“人”这一因素的重要作用，要重视管理层的支持和员工层的协作，提升企业整体数字能力。

中国信息协会专家范克峰

02 DataPipeline：聚焦数据价值释放链路中最初一公里

DataOps 是指导 DataPipeline 产品和服务发展的重要原则

在 DataPipeline 创始人 & CEO 陈诚看来，“聚焦最初一公里”是 DataPipeline 为产业提供数字化转型创新推动力的最佳注解。他指出，企业数字化转型过程中，越来越多的数据应用被构建出来、数据量大跨度增长，数据的复杂度越来越高，无论从需求侧还是供给侧看，数据的时效性要求都变得越来越强。和直接给客户提供价值的场景应用 “最后一公里”相比，数据融合这“最初一公里”的重要性也愈发凸显，并且具备丰富内涵。

DataPipeline 创始人 & CEO 陈诚

在优化数据科学和运营团队之间协作的大量数据管理实践中，DataPipeline 逐步发现 DataOps 是跨越业务与技术、数据与场景、规模与质量等数据驱动商业变革鸿沟的有效路径。DataOps 强调了对数据流向价值流转变的数据旅程管理的理念，也是指导 DataPipeline 产品和服务发展的重要原则，其中最重要的三点：

第一. 拥抱变化。技术场景的快速分化产生大量不同类的存储和计算引擎、信创大势下优秀国产数据库涌现、业务导向下数据结构等的快速迭代、网络等的环境变化，以上多方面的变化使得数据调度及流转变成极其重要的能力。“最初一公里”成为筑牢数据管理根基的关键,也是 DataPipeline 选择该领域的初心。

第二. 组织协作。数据管理中的角色多样，数据科学家、数据分析师、数据工程师、大数据平台运维人员、DBA 等，各类角色及其承载内容变化量大、速度快，日常工作中缺少抓手协作配合。DataPipeline 通过产品的四层抽象——系统资源管理、节点管理、链路管理和数据任务管理来帮助组织，给每一类角色提供相应的入口与易用可视化强的界面，从而形成清晰的工作边界与良好的配合。

第三. 自动敏捷。该原则的底层逻辑即低代码、无代码胜过开发，各类策略的配制胜过代码调整。DataPipeline 在每一个抽象层级上提供了几十种策略的配制。细致程度可以达到写入组件的冲突，数据结构发生变化，有没有错误队列。客户在应对新变化时，周期可以从以月计改为按小时甚至分钟去计算，效率提升显著。以上都源自 DataPipeline 过去 5 年对客户场景抽丝剥茧地分析与理解，及技术功能上的细分。

03 以用户为中心，专注场景实践创造行业新价值

在对于安全、稳定、性能都有着极高标准的金融行业扎根

DataPipeline 坚持以用户为中心，找到业务场景与实时数据管理技术的结合点，以场景化的创新解决方案实践，加速行业数字化和智慧升级。

DataPipeline 助力民生银行构建实时数据管理平台，在异构数据实时同步的准确性、系统的稳定性、易用性、安全性等方面很好地满足了需求，实现了民生银行企业级实时数据的采集、同步与融合。基于 DataPipeline 进行数据标准化开发和数据传输，降低了民生银行开发成本，加快了实时数据价值的释放，为民生银行数据中台战略奠定了坚实的基础。

民生银行总行科技大数据管理部技术专家钟行

民生银行总行科技大数据管理部技术专家钟行表示，在实时数据预处理和应用层数据同步方面，选择 DataPipeline 作为合作伙伴共同完成实时数据同步管道组件的实施，主要原因为：一是，目前金融行业进入了一个基础设施快速迭代的时期，民生银行也正在积极验证引入各类开源和商业化基础组件满足数据方面需求，DataPipeline 是一家专注于提供企业级异构数据融合解决方案的公司，能够持续跟进行业内计算资源、操作系统、数据库、中间件等方面的变化，持续对合作伙伴的需求进行支持；二是，DataPipeline 企业级实时数据融合平台的功能和性能，能够很好地满足民生银行当前在实时数据预处理和同步方面需求，产品除了支持丰富的数据源，在任务的资源控制、状态监控、异常处理和恢复等方面设计合理，易于与行内已有数据管理和集中监控系统集成。以 DataPipeline 产品为基础，相对基于开源组件自研的方案可以加速项目实施、降低成本。

山东省城商行联盟核心运维组技术专家倪俊甜在演讲中表示：DataPipeline 助力山东省城商行联盟构建的企业级数据库准实时数据采集系统对于推动其实现数字化转型、数据规范化和集约化管理、赋能企业经营及增强其持久核心竞争力具有重要意义。DataPipeline 可实现数据的秒级实时采集，产品具备统一易用的人性化操作界面，丰富的配置策略可实现对资源的高效充分利用，产品同时具有标准化遵循与前瞻性判断前提下的开放可扩展性，当然最重要的是其金融级的稳定高容错能力。

山东省城商行联盟核心运维组技术专家倪俊甜

04 升级数据技术，提升企业数字化转型驱动力

用户需求牵引技术持续演进，构建数字化创新基础设施

技术已经成为当前驱动产业变革的重要源动力。产业数智化的时代已然来临，在未来十年，经济发展的新动能将源自技术与“千行百业”的深度融合，新科技产品、新效率以及全新业务形态都将由此融合而生。DataPipeline 合伙人 & CTO 陈肃表示：DataPipeline 的技术架构演进，本质上是一个用户需求驱动的过程。今天我们在 3.0 版本中看到的技术架构形态，是这些年持续在客户真实环境中不断锤炼和演进的结果。

DataPipeline 合伙人 & CTO 陈肃

回顾过去 40 年技术发展的路线，DataPipeline 认为技术架构是不断取长补短，不断融合的过程，但是数据架构的百花齐放、长期共存，是必然趋势。企业数据基础设施的建设，需要做好三件事：选择、组合和连接。而连接是实现组合的关键。但构建稳定、高性能且能够适应业务发展动态变化的实时数据管道，需要时间、金钱、人力上的昂贵投入且在落地上充满挑战。DataPipeline 希望提供一个产品化的解决方案，为用户把这纷繁的事务通过一体化的方式解决掉。以上就是 DataPipeline 基于对技术发展趋势和产品商业价值的判断而做出选择的基本依据。

今年五月份，DataPipeline 正式发布实时数据融合平台 V3.0 里程碑版，是产品由工具型向企业级数据融合平台进化的关键一步。V3.0 版本在技术成熟度上有跨越式提升，主要表现在其高性能、高可用、可管理性。

第一. 高性能。在 3.0 版本中，DataPipeline 引入了基于内存的数据交换方式，可以有效避免消息分区数量的膨胀带来的性能下降。同时，基于这一模式的端到端处理速度，比 2.0 版本提升超过 2 倍。

第二. 高可用。从 1.0 版本开始，DataPipeline 的底层运行时环境就支持高可用。在 3.0 版本中，DataPipeline 进一步将产品的所有平台组件全面实现了高可用。用户可以根据对可用性的要求，灵活进行组件节点的部署，避免单点故障。

第三．可管理性。根据企业分层管理的需求，将系统内资源抽象为节点、链路、任务。每一层都可以进行独立的管理和授权。用户可以在链路上定义字段类型映射、限速、告警等策略，并应用到任务层面，从而实现层级化的精细管理。与此同时，DataPipeline 内部的所有重要事件、告警信息都能够推送到用户定义的邮箱、文件路径或 Webhook 中，从而与企业现有的运维监控体系无缝集成。DataPipeline 3.0 配备了容器、应用、线程、业务四级监控体系，实现全方位的运维提升。

05 凝心聚力，与产业各角色共生共赢

共赴实时数据管理的星辰大海

华为计算产品线 openGauss 数据库产品总经理胡正策

华为计算产品线 openGauss 数据库产品总经理胡正策高度评价了华为 openGauss 与 DataPipeline 的过往合作，并介绍了 openGauss 企业级开源数据库“共建、共享、共治”的生态理念与成果。近日，DataPipeline 与 GaussDB(for openGauss)完成兼容性测试，并且签署 CLA(Contribution License Agreement, 贡献许可协议），正式加入 openGauss 社区。未来，DataPipeline 将充分发挥自主创新能力及产品优势，与华为云合力创造 1+1 大于 2 的效果，为推动金融等行业数据管理发展贡献力量。

在大会圆桌论坛环节，与会的各位专家共同就“信创产业发展的机遇与挑战”、“金融行业对核心数据系统的诉求”等问题展开讨论。其中，中信银行信息技术管理部架构管理处处长卫东谈到：信创是中国数字经济安全、健康发展的基石。我国的信创产业加速朝着好用和全面推广方向发展，信创产业生态初具规模。面对数字经济的高速发展，信创将给千行百业带来不可估量的价值。技术人员，要有开放的心态，在全球范围内学习并借鉴。更重要的一点，需求市场拉动的同时，以基础软件为代表的 IT 产业领域也要坚持深化供给侧结构性改革。产品技术专家，要有在丰富场景下捕捉需求的能力，并且要前瞻性地从产品打造层面提出一些新的功能和特性。这对厂商非常重要，同时也提出了比较高的策略研究能力，包括联合用户方联创等的高阶能力。

圆桌对话

圆桌论坛现场，来自产业各领域的合作伙伴也带来了针对数据管理行业洞察和期待。“势、创新、专注、融合共建、繁荣生态、差异化亮点”——DataPipeline2021 数据管理与创新大会在现场嘉宾对 DataPipeline 的寄语中圆满闭幕。

实时数据管理平台构建只是开始，数据管理的产业发展长途漫漫。以“坚持技术驱动深耕企业服务”为初心和锚点，DataPipeline 将全力打通“实时数据融合-服务-质量”全流程能力，形成全链路实时数据资产管理业务体系，与合作伙伴共生共赢，为全球行业用户提供稳定高效、安全可靠、开放兼容的数字化创新基础设施，加速企业业务创新和转型升级。