写点什么

数据治理

4 人感兴趣 · 185 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/ce/ce31ea96dbe7d0eb3186b13a9e2168e2.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

提升数据决策时效,火山引擎 DataLeapCDC 分库分表能力升级!

大数据研发治理套件DataLeap数据集成更新CDC分库分表能力,可做到将多个实例的多个数据库的多个分表同步到目标端的一个表中,先离线同步,然后实时同步。

https://static001.geekbang.org/infoq/6b/6babcae338d99373ec30eeabc92241b0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

可视大盘 + 健康分机制,火山引擎 DataLeap 为企业降低资源优化门槛!

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

https://static001.geekbang.org/infoq/78/78fd64092d31106a4d7fcb41da6eaca1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

线下 Meetup:在数智化转型背景下,火山引擎 VeDI 的大数据技术揭秘

近日,联合火山引擎开发者社区,火山引擎数智平台(VeDI)《数智化转型背景下的火山引擎大数据技术揭秘》主题Meetup暨超话数据特别场正式在深圳举办

https://static001.geekbang.org/infoq/e0/e0bb49c293a6336cd18aa2895bcce023.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 推出两款大模型应用: 对话式检索与开发 打破代码语言屏障

9月19日,2023火山引擎数据驱动科技峰会发布数据产品大语言模型(Large Language Models)应用:DataLeap-找数助手、DataLeap-开发助手和DataWind-分析助手,为企业提供从数据资产的检索、到数据开发,再到数据应用的全链路AI能力。

https://static001.geekbang.org/infoq/d8/d8618601da8eb48564d0238d42cf53fc.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据探索神器:火山引擎 DataLeap Notebook 揭秘

火山引擎DataLeap notebook 主要是基于 JupyterHub、notebook、lab、enterprise kernel gateway 等开源项目实现,并在这些项目的基础上进行深度修改与定制化,以满足 火山引擎DataLeap用户的需求。

https://static001.geekbang.org/infoq/cb/cbfb88f424220fc63ad3535f75c4491b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

企业如何高效平滑迁移数据?火山引擎 DataLeap 上线整库搬迁解决方案

近日,火山引擎大数据研发治理套件DataLeap上线整库搬迁解决方案,包括整库离线同步、整库实时同步两大能力,大大提升数据上云便捷性,降低数据迁移成本,使用户易上手,低运维。

https://static001.geekbang.org/infoq/b8/b8383adb40548e74603f0842b0679a9b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

从“13 天”到“0 天”延时,揭秘幸福里离线 SLA 保障最佳实践

随着幸福里业务发展,为了满足业务对于数据使用、指标观测等需求,团队快速落地了数仓建设。但由于早期“先建后治”,导致现阶段数据治理难题频发。

https://static001.geekbang.org/infoq/6c/6cef46d37a132b4181e5dd7c402c51eb.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 数据血缘技术建设实践

DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。

https://static001.geekbang.org/infoq/3c/3cc4945d97a38044df014dae1f5b295d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

[BitSail] Connector 开发详解系列四:Sink、Writer

开发者首先需要创建Sink类,实现Sink接口,主要负责数据写入组件的生命周期管理,构架作业。通过configure方法定义writerConfiguration的配置,通过createTypeInfoConverter方法来进行数据类型转换,将内部类型进行转换写到外部系统,同Source部分。

https://static001.geekbang.org/infoq/27/278723044b7ec60a0346031d9508b209.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

存储方案作为产品——Midgard 探索

Midgard是搜索场景下提出的智能化的数据存储方案管理器,本文简要介绍了Midgard如何有效利用数据自身提供的信息,如何利用存储系统的先进特性,始终保持数据服务的高效低廉。

https://static001.geekbang.org/infoq/89/89b32ce8640b1fed506db710e4949d46.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 助你拥有 Notebook 交互式的开发体验

在数据开发领域,Notebook 广泛应用于数据清理和转换、数值模拟、统计建模、数据可视化、构建和训练机器学习模型等方面。

共创共赢,天翼云携手用友打造商业创新一体化解决方案!

8月18日,用友2023全球商业创新大会在上海拉开帷幕。本次大会以“数据驱动 智能运营”为主题,汇聚众多商业领-袖,探讨主题化融合创新、全局数据治理、普及AI 应用等热点话题。

https://static001.geekbang.org/infoq/cd/cdb5ac410a302243d2d5f964ec8bfcbd.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

智定义、易调整,火山引擎 DataLeap 助力企业轻松实现全流程值班管理

近日,火山引擎大数据研发治理套件DataLeap全新上线值班管理模块,企业可通过该模块体系化智能化创建值班计划、管理值班人员,适用于运维排班、值班提醒、计划管理、监控报警等实际应用场景。

https://static001.geekbang.org/infoq/24/249383a7abb116a04dc639a004ad0bd0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 基于 Apache Atlas 自研异步消息处理框架

字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求,内部使用Flink任务的处理方案在ToB场景中也存在诸多限制,所以团队自研了轻量级异步消息处理框架

https://static001.geekbang.org/infoq/e4/e43adc7ea2b49180ddc73c3ab39724ed.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap:助力 PICO 落地数据流程规范,提升开发效率

作为目前中国市场领跑的头部XR品牌之一,字节跳动旗下的PICO已经拥有了超百万客户。 过去一年,PICO在XR场景中不断建设和发力,为运动、娱乐等消费级场景带来了全新体验,并广泛应用在教育、医疗和企业培训等商用场景。

https://static001.geekbang.org/infoq/07/07464e7256af59854b56e9bc5df780b1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

挖掘优质短视频超百万条,火山引擎 DataLeap 助力电商平台生态治理

庞大的市场规模背后,如何解决电商场景下的各项生态治理问题显得尤为重要,某电商平台的治理团队就提供了一个优秀实践范本。

https://static001.geekbang.org/infoq/26/26ed660b2567b200378c918a25c7720f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

基金公司数据治理实践,打造“点线面体”的数据治理体系

在数字经济时代下,数据驱动业务创新发展已经成为企业的主要选择,基金行业机构也在积极推进数字化转型,但机遇与挑战并存。数据要转化为数据要素,需要系统体系化的数据能力建设作为催化剂。

https://static001.geekbang.org/infoq/6b/6b0a495bcd7e6600afaa040014863509.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 数据质量动态探查及相关前端实现

火山引擎DataLeap数据探查上线之前,数据验证都是通过写SQL方式进行查询的,从编写SQL,到解析运行出结果,不仅时间长,还会反复消耗计算资源,探查上线后,只需要一次探查,就可以得到整张表的探查报告,但后续我们还发现了一些问题,主要有三点:

https://static001.geekbang.org/infoq/d8/d8618601da8eb48564d0238d42cf53fc.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 的 Data Catalog 系统搜索实践 (上)

火山引擎大数据研发治理套件 DataLeap的Data Catalog系统通过汇总和组织各种元数据,解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景,其中搜索是Data Catalog的主要功能之一。

https://static001.geekbang.org/infoq/71/71e2e02ad73991f7805d3990e85c6c6c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 的 Data Catalog 系统公有云实践 (下)

Data Catalog经历了一个从0到1在火山引擎公有云部署并逐步优化和迭代发布10+版本的过程,在这个过程中经历不少挑战,下面将介绍其中比较典型的问题以及我们探索并实践的一些解决方案。

https://static001.geekbang.org/infoq/07/07464e7256af59854b56e9bc5df780b1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 的 Data Catalog 系统公有云实践 (上)

Data Catalog 通过汇总技术和业务元数据,解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景。

https://static001.geekbang.org/infoq/97/97ca7f2762fff97b82959f31c5efe3b7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 如何解决 SLA 治理难题(三): 平台架构与未来展望

火山引擎 DataLeap SLA平台整体主要分为基础组件、规划式治理服务、响应式治理服务三大块

https://static001.geekbang.org/infoq/78/78dc214316cd390f4f13273deb28b2cb.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 如何解决 SLA 治理难题(一):应用场景与核心概念介绍

基于火山引擎分布式治理的理念,数据平台数据治理团队自研了火山引擎DataLeap SLA保障平台,目前已在字节内部得到广泛使用,并支持了绝大部分数据团队的SLA治理需求,每天保障的SLA链路数量过千,解决了数据SLA难对齐、难保障、难管理的问题。

https://static001.geekbang.org/infoq/22/2209cdf30aeec99b72519ae65b5360ff.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

券商数字化创新场景数据中台实践

时下,众多金融机构在积极推行数字化改革,以适应时代高速革新。为回应市场对信息即时生效的迫切需求,各家券商机构都需要更具竞争力的信息服务。

https://static001.geekbang.org/infoq/67/672fc4eb7afbfdf38d631c701f28d83d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 Dataleap 数据质量解决方案和最佳实践(一):数据质量挑战

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

全面解析数据治理

数据治理并不是一种简单的操作行为,而是对数据资产管理行使权力和控制的活动集合,是一种管理和保护数据的方法,是确保准确性、完整性、安全性、可靠性和一致性的关键。

https://static001.geekbang.org/infoq/b9/b92f5403dcfeba37ed673176fea453c8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据分析提效 5 倍,国有集团企业数字化历程 | 数字化标杆

从北京到新疆、从中国到南非,从奥运会场馆的水泥混凝土到钱塘江畔拔地而起的高楼房产,无不存在着这个集团的身影。

https://static001.geekbang.org/infoq/25/25a6156021fd48408588d4c37aa2f9f8.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap:一个易用、高效的数据目录,是如何搭建的?

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

数据治理_数据治理技术文章_InfoQ写作社区