写点什么

数据研发

0 人感兴趣 · 22 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/c7/c704008216a17c352dc10cbfcbac5c1d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap:在数据研发中,如何提升效率?

目前,任务模板已是火山引擎DataLeap研发治理能力之一,主要用于管理常用的任务逻辑,以此降低常用代码的运维成本。

https://static001.geekbang.org/infoq/d0/d08beec463faea31f7f90e6b6de5c7da.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 下 Notebook 系列文章二:技术路线解析

脱胎于 Jupyter Kernel Gateway的 Enterprise Gateway,提供了火山引擎DataLeap 研发团队需要的 Remote Kernel(上述的独立任务 Kernel 环境)能力。2020 上半年,火山引擎DataLeap 研发团队基于上面的三大组件,进行二次开发,发布了 Notebook 任务类型。

https://static001.geekbang.org/infoq/83/838d0005ae0a7e78b26bc4d9e3fd2eb0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 下 Notebook 系列文章一:技术选型之路

研发团队将 Notebook 作为一种任务类型,加入了火山引擎 DataLeap 数据研发平台,使用户既能拥有 Notebook 交互式的开发体验,又能享受一站式大数据研发治理套件提供的便利。

https://static001.geekbang.org/infoq/87/8713f8973d7dbcfeabef1b9e460e89c9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap:3 小时分享,体系化讲透企业数据治理如何做?

2023年4月8日,DataFun联合字节跳动数据平台举办DataFunSummit2023:数据治理论坛,由火山引擎DataLeap产品专家担任出品人,邀请来自字节跳动、小米、翼支付的讲师,分享结合自身业务特点在数据治理方向的前沿探索及实践。

https://static001.geekbang.org/infoq/e1/e13285b343a77c47216bbc86472a295d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据丢失不用怕,火山引擎 DataLeap 提供排查解决方案

针对这一问题,火山引擎数智平台推出的大数据研发治理套件DataLeap,可以为企业提供完整解决方案,帮助解决MQ dump在极端场景中遇到的数据丢失问题。

https://static001.geekbang.org/infoq/94/94c3404708247237c8a4111a6eea03e0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 一招教你避坑“数据开发”中的资源隔离问题

近期,火山引擎DataLeap推出“项目参数管理”能力,即通过自定义项目参数分别设置开发、生产环境参数值,参数支持配置多种类型,包括Region、DB、shecma、table、date以及自定义等,且支持任务级别引用,快速帮助研发团队实现资源隔离。

https://static001.geekbang.org/infoq/66/66d0443fdb11794bf4b732604081515f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

听说火山引擎推出的 DataLeap,已经可以支持万级表的数据血缘图谱了!

在字节跳动内部,有一套支持万级表血缘的关系展示图谱每天被近万名员工使用,已经沉淀为火山引擎DataLeap“数据地图”能力,并对外输出。通过提供便捷的找数、理解数服务,火山引擎DataLeap大大节省企业内部数据沟通和建设成本。

https://static001.geekbang.org/infoq/58/584c508b7c9099a9354e63bf909605a8.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap:数据秒级生产,揭秘电商实时数仓最佳实践!

主播如何实时获取直播带货数据?运营如何监控促销活动流量?商家如何监控大促期间交易额以及货品库存变化?本篇文章将带你走进某电商实时数仓团队,揭秘电商场景下实时数仓经验。

https://static001.geekbang.org/infoq/93/9397bc02b842a529321c200ea5b66e1a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

从“13 天”到“0 天”延时,揭秘火山引擎 DataLeap SLA 保障最佳实践

据房产APP数据研发人员介绍,“火山引擎DataLeap具备数据开发、数据治理、数据质量全链能力,可以串联成一套连贯、可复用的治理方案,最终形成SLA保障高效管理。”

https://static001.geekbang.org/infoq/b5/b5a576e36707e02a744017332518d09b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

十分钟读懂火山引擎 DataLeap 数据治理实践

日前,火山引擎数智平台VeDI直播活动「超话数据」在线举办,来自火山引擎DataLeap数据产品专家从数据治理与管理,企业数智化升级等角度,分享了DataLeap在字节跳动内的治理经验和实践。

https://static001.geekbang.org/infoq/f2/f2e126509903eac5f57d5e6fcf19b685.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

告别数据开发中的人工审核!火山引擎 DataLeap 落地“自动校验开发规范”能力

近期,火山引擎DataLeap智能市场上线“数仓建表规范”功能,该功能通过规范数仓场景下的建表流程,提升项目开发效率,实现快速追踪数据链路,并有效保障交付质量。

https://static001.geekbang.org/infoq/23/230d370d356a14776149267e27d51c83.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据治理如何做?火山引擎 DataLeap 帮助这款产品 3 个月降低计算成本 20%

本文讲述字节跳动一款 App产品的数据治理故事。该产品随着用户体量和数据体量不断增长,数仓的任务量、数据量也不断攀升,运维难、成本贵、稳定性等问题在不断凸显。通过使用火山引擎DataLeap的数据治理能力,3个月时间将计算成本大幅缩减20%。

https://static001.geekbang.org/infoq/76/7605a6a4ee6529a21204d44ac8593a43.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

关于 DataLeap 中的 Notebook,你想知道的都在这

本文主要详细讲述DataLeap 中的 Notebook ,包括前期选型、技术路线、架构升级、调度方案、以及未来工作等五部分重点内容,带你详细了解Notebook。

https://static001.geekbang.org/infoq/f0/f0c49d1c6f83da273166a7e3f7b052fb.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap:3 个关键步骤,复制字节跳动一站式数据治理经验

本篇文章主要围绕火山引擎DataLeap一站式数据治理实践展开分享,从数据治理思路、平台建设以及能力升级三个步骤出发,带你全面复制字节跳动数据治理经验。

https://static001.geekbang.org/infoq/c4/c4d8517f087d65517b72e74462c6b3a2.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何又快又好实现 Catalog 系统搜索能力?火山引擎 DataLeap 这样做

DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。

https://static001.geekbang.org/infoq/a8/a853b09be6abbfaea54f89834612f5e9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 数据调度实例的 DAG 优化方案

DataLeap 是火山引擎自研的一站式大数据中台解决方案,集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。

https://static001.geekbang.org/infoq/0b/0bc500394b19261824b0d5a272cf57af.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎在行为分析场景下的 ClickHouse JOIN 优化

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

https://static001.geekbang.org/infoq/b2/b2ff36d1de39a945d36d97ae9d1b1556.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

字节跳动数据血缘图谱升级方案设计与实现

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

https://static001.geekbang.org/infoq/ad/adc4882dd2982240b7aed89a49742ce3.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

DataLeap 的 Catalog 系统近实时消息同步能力优化

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

https://static001.geekbang.org/infoq/fd/fd914ca3dbc08668f0afab01d638f8c4.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

一文读懂字节跳动“埋点验证平台”

更多技术交流、求职机会、试用福利,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

https://static001.geekbang.org/infoq/5b/5b51a068d717b7e29a82ac4bffe448e0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

字节跳动埋点数据流建设与治理实践

更多技术交流、求职机会、试用福利,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

https://static001.geekbang.org/infoq/e9/e93fb247e75e1620bdb6a37da4121e9b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

难对齐、难保障、难管理?一文了解字节跳动如何解决数据 SLA 治理难题

更多技术交流、求职机会、试用福利,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

数据研发_数据研发技术文章_InfoQ写作社区