数据统一高效管理 HashData 支撑“数智石油”高质量发展

4 月 23 日-25 日，以“数字化转型推进石油石化新型工业化”为主题的 2024 中国石油石化企业信息技术交流大会在北京举行。

酷克数据（HashData）作为赋能石油石化企业数字化转型的先进代表，受邀参加此次行业盛会，展示了与昆仑数智携手打造的油气行业数据湖联合解决方案和创新成果。

在会上，酷克数据资深解决方案架构师李俊介绍了 HashData 技术团队对湖仓技术的思考与创新，分享酷克数据在油气行业的最佳应用实践。

“数智中国石油”战略及成果

当前，数智化浪潮奔涌正盛，加速推进企业数智化建设已成为石油石化产业界共识。作为骨干央企和国内最大油气生产供应企业，中国石油发布了“数智中国石油”发展战略，提出到本世纪中叶，全面实现智能化发展，建成“智慧中国石油”的目标。

“梦想云”数据湖作为集团数字化体系“四梁八柱”和重点战略之一，承载着建设“数智中国石油”重要使命。酷克数据很荣幸能够与昆仑数智联合，从 2020 年起持续合作共建中国石油“梦想云”平台。

面对集团下属油气田公司数据库多、平台多、孤立应用多的“三多”数据现状，“梦想云”利用 HashData 云端数据湖技术，构建了主湖和区域湖，建立统一管理机制，形成数据连环湖，突破了“数据难共享、业务难协同”的瓶颈。

其中，“梦想云”主湖管理总部核心数据，支持共享应用，主要负责上游业务数据标准、主数据的统一管控及治理，实现上游数据的集中管理，区域湖则负责管理本地区各类数据资产。

基于“梦想云”创新研发的连环湖技术架构，中国石油 60 多年的勘探开发数据全面入湖，包括 50 多万口井、4 万多座站库、8000 多个地震工区、700 多个油气藏，涵盖结构化、非结构化等 8 类数据，数据总量达 10PB，建成亚洲油气行业最大的数据湖，真正实现了海量数据入湖、治理、共享、分析等功能。

HashData 湖仓技术创新与实践

酷克数据作为“湖仓一体”技术倡导者，为“梦想云”数据湖建设提供了核心的技术支持。在“梦想云”数据湖建设过程中，针对各油气田地理位置分布广、业务差异大、个性化需求多、大块数据应用网络带宽不足等问题，酷克数据提出了一系列创新的湖仓技术解决方案：

• 云原生架构：HashData 充分发挥云平台的高弹性和分布式特点，彻底消除数据孤岛，灵活管理与分析非结构化数据。

• 湖仓一体设计：HashData 提供湖仓一体技术方案，实现了数据湖和数据仓库的无缝融合，支持数据全局共享与高效访问，降低了用户重复建设成本。HashData 内核基于开源 PostgreSQL 14 自研，支持多种数据存储格式。

• 连环数据湖：实现主湖与区域湖的数据同步。

• 自动化部署与管理：HashData 提供完整的自动化部署、监控和管理服务，实现快速部署和不停机交付，大幅提升了项目实施效率。

• GIS 扩展技术：提供空间数据管理功能，为石油勘探提供精准的地理信息服务。

• 数据安全：提供了安全存储、统一认证、动态脱敏等安全功能。

为解决湖仓一体建设过程中成本与性能之间的矛盾，HashData 采用了多级存储技术。这种技术充分利用不同类型的存储介质，以优化整体性能和成本。

• 持久化数据存储：将数据持久化存储在成本较低的对象存储中，用于长期存储不常访问的数据。

• 热点缓存技术：在计算层增加缓存，用于存储频繁访问的热点数据。缓存通常使用更快的存储介质，以提供更高的 IO 性能。

通过多级存储解决方案，在保持较低存储成本的同时，提高了对热点数据的访问速度。这样既利用对象存储的低成本优势，又通过缓存技术保证了应用性能，解决了对象存储 IO 性能不足的问题。

截至目前，HashData 已经服务于中国石油 60%以上的油田，有力支撑中国石油油气勘探、油气开发、生产运行、安全环保、经营管理等业务应用实现数字化与智能化。

以塔里木油田为例，依托“梦想云”平台，解决了数据孤岛问题，实现了实时监测、智能报警和远程会诊，提高了钻井施工速度和安全生产水平。

通过 HashData 湖仓技术的创新与实践，“数智中国石油”战略的实施取得了显著成效，为中国石油的数字化转型和智能化发展奠定了坚实的基础。

展望未来，酷克数据将继续深入石油石化行业，不断推动技术创新和服务升级。HashData 致力于成为石油石化与大能源行业数字化转型可信赖的方案，与行业伙伴携手共筑行业新质生产力。