数据治理
4 人感兴趣 · 185 次引用
- 最新
- 推荐
存储方案作为产品——Midgard 探索
Midgard是搜索场景下提出的智能化的数据存储方案管理器,本文简要介绍了Midgard如何有效利用数据自身提供的信息,如何利用存储系统的先进特性,始终保持数据服务的高效低廉。
火山引擎 DataLeap 助你拥有 Notebook 交互式的开发体验
在数据开发领域,Notebook 广泛应用于数据清理和转换、数值模拟、统计建模、数据可视化、构建和训练机器学习模型等方面。
共创共赢,天翼云携手用友打造商业创新一体化解决方案!
8月18日,用友2023全球商业创新大会在上海拉开帷幕。本次大会以“数据驱动 智能运营”为主题,汇聚众多商业领-袖,探讨主题化融合创新、全局数据治理、普及AI 应用等热点话题。
智定义、易调整,火山引擎 DataLeap 助力企业轻松实现全流程值班管理
近日,火山引擎大数据研发治理套件DataLeap全新上线值班管理模块,企业可通过该模块体系化智能化创建值班计划、管理值班人员,适用于运维排班、值班提醒、计划管理、监控报警等实际应用场景。
火山引擎 DataLeap 基于 Apache Atlas 自研异步消息处理框架
字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求,内部使用Flink任务的处理方案在ToB场景中也存在诸多限制,所以团队自研了轻量级异步消息处理框架
火山引擎 DataLeap:助力 PICO 落地数据流程规范,提升开发效率
作为目前中国市场领跑的头部XR品牌之一,字节跳动旗下的PICO已经拥有了超百万客户。 过去一年,PICO在XR场景中不断建设和发力,为运动、娱乐等消费级场景带来了全新体验,并广泛应用在教育、医疗和企业培训等商用场景。
挖掘优质短视频超百万条,火山引擎 DataLeap 助力电商平台生态治理
庞大的市场规模背后,如何解决电商场景下的各项生态治理问题显得尤为重要,某电商平台的治理团队就提供了一个优秀实践范本。
[BitSail] Connector 开发详解系列三:SourceReader
本文将主要介绍负责数据读取的组件SourceReader
火山引擎 DataLeap 数据质量动态探查及相关前端实现
火山引擎DataLeap数据探查上线之前,数据验证都是通过写SQL方式进行查询的,从编写SQL,到解析运行出结果,不仅时间长,还会反复消耗计算资源,探查上线后,只需要一次探查,就可以得到整张表的探查报告,但后续我们还发现了一些问题,主要有三点:
火山引擎 DataLeap 的 Data Catalog 系统搜索实践 (上)
火山引擎大数据研发治理套件 DataLeap的Data Catalog系统通过汇总和组织各种元数据,解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景,其中搜索是Data Catalog的主要功能之一。
活动回顾|火山引擎 DataLeap 分享:DataOps、数据治理、指标体系最佳实践(文中领取 PPT)
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群
火山引擎 DataLeap 的 Data Catalog 系统公有云实践 (下)
Data Catalog经历了一个从0到1在火山引擎公有云部署并逐步优化和迭代发布10+版本的过程,在这个过程中经历不少挑战,下面将介绍其中比较典型的问题以及我们探索并实践的一些解决方案。
火山引擎 DataLeap 的 Data Catalog 系统公有云实践 (上)
Data Catalog 通过汇总技术和业务元数据,解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景。
火山引擎 DataLeap 如何解决 SLA 治理难题(三): 平台架构与未来展望
火山引擎 DataLeap SLA平台整体主要分为基础组件、规划式治理服务、响应式治理服务三大块
火山引擎 DataLeap 如何解决 SLA 治理难题(一):应用场景与核心概念介绍
基于火山引擎分布式治理的理念,数据平台数据治理团队自研了火山引擎DataLeap SLA保障平台,目前已在字节内部得到广泛使用,并支持了绝大部分数据团队的SLA治理需求,每天保障的SLA链路数量过千,解决了数据SLA难对齐、难保障、难管理的问题。
券商数字化创新场景数据中台实践
时下,众多金融机构在积极推行数字化改革,以适应时代高速革新。为回应市场对信息即时生效的迫切需求,各家券商机构都需要更具竞争力的信息服务。
数据分析提效 5 倍,国有集团企业数字化历程 | 数字化标杆
从北京到新疆、从中国到南非,从奥运会场馆的水泥混凝土到钱塘江畔拔地而起的高楼房产,无不存在着这个集团的身影。