写点什么

数据开发

0 人感兴趣 · 22 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/1b/1b89614edfe05ba4d03a2efec39a6f62.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

人工智能工程总体介绍

用户头像
紫晖
06-02

人工智能(AI)是当今最热门的技术领域之一,它已经在各个行业中得到了广泛的应用。但是,要将AI应用于实际生产环境中,需要进行大量的工程化工作。本文将详细介绍人工智能的工程化内容,包括数据准备、模型训练、模型部署和模型监控等方面。

https://static001.geekbang.org/infoq/8a/8a12d97ff3d4f77421f2ebaa6f534f61.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataLeap 联合 DataFun 发布《数据治理知识地图》

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

2023,不一样的数据库

2022年是玖章算术创业完整的第一年,团队、NineData产品和技术都突飞猛进,特别感谢所有支持我们的朋友、客户、投资人和业务伙伴。玖章算术CEO叶正盛作为数据领域20年的从业者,曾负责过阿里云数据库产品的整体规划,谈谈2023年可能会不一样的数据库。

https://static001.geekbang.org/infoq/ce/ced06d1e19a39ce8ee08644492959d7a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据人 PK 也无人,为什么业务部门的数据需求都是急活?

用户头像
雨果
2022-12-22

你是不是经常听到数据开发吐槽业务部门:我可以理解业务部门数据需求多,但为什么经常要得这么急呢?

https://static001.geekbang.org/infoq/68/6884982f359ea49f1cb44713b5cf0749.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大厂数据开发老司机送给数据工程师的 10 条建议,建议先收藏再细品!

用户头像
雨果
2022-11-24

关联数据之前,先检查维度表,各维度的值是否有异常,比如null,空值,异常值等等。

https://static001.geekbang.org/infoq/4c/4c1d844f764026a58f5e8884a2d56acf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据治理的核心:大数据开发平台

用户头像
Taylor
2022-11-13

数据开发平台是企业级大数据平台的核心内容之一,本文主要讨论下如何搭建基础形态的数据开发平台。

https://static001.geekbang.org/infoq/b2/b202607d3a92d294675042aab7a351c6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

字节跳动开源数据集成引擎 BitSail 的演进历程与能力解析

BitSail是字节跳动开源数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下全域数据集成解决方案,目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验,在性能、稳定性上得到较好验

https://static001.geekbang.org/infoq/ac/ac7cd20a9612b6aba3fdc31edb4945ef.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

基于 HDP 构建企业数据平台

用户头像
Bright
2022-10-16

本文简单介绍了如何基于 HDP 来构建企业数据平台,包括一些 HDP 相关软件系统的基本介绍及我们项目上的具体技术选型。从企业数据工作流程的角度阐述如何在基础数据平台上面构建适合自身的工作流程。有了基础数据平台及数据工作流程定义......

大数据开发应用场景解读 & 需求产品初探

用户头像
Jackchang234987
2022-09-30

“移动计算比移动数据更划算”;大数据开发产品的定位是基于“生产->采集->存储->分析->开发->治理->价值体现”这个链路过程,主要解决数据集成、数据开发、数据运维、数据治理的场景。

https://static001.geekbang.org/infoq/e1/e154a762992def6713ab1f652d390818.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

字节跳动基于 ClickHouse 优化实践之“高可用”

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

https://static001.geekbang.org/infoq/b2/b2e1ab8e6930b8c5500d6df550741942.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Efficient ETL Testing

用户头像
Bright
2022-07-06

It’s always been a pain point to do ETL testing. But it more and more becomes a must after data being so widely used these days. But there are a lot of challenges about ETL testing there, and we see a lot of teams struggling.

https://static001.geekbang.org/infoq/3b/3b9f35a7d2f387d75119e3daf70bf66a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Neat Syntax Design of an ETL Language (Part 2)

用户头像
Bright
2022-06-25

How to design a neat ETL programming language that people like to use? Let’s have a look at how Easy SQL does. (This topic is broken into two parts. This is the second part.)

https://static001.geekbang.org/infoq/3b/3b9f35a7d2f387d75119e3daf70bf66a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Neat Syntax Design of an ETL Language (Part 1)

用户头像
Bright
2022-06-17

How to design a neat ETL programming language that people like to use? Let’s have a look at how Easy SQL does.

https://static001.geekbang.org/infoq/96/9684cfa37d79f6c5a8c37f39549a4afd.webp?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

A Guide to Write Elegant ETL in Easy SQL

用户头像
Bright
2022-06-05

How to write elegant ETL in SQL? With the language features provided by Easy SQL, we now have the ability to implement anything in SQL. We don't need to mix our ETL with other programming languages. And Easy SQL provides a ...

https://static001.geekbang.org/infoq/63/63ddf5fa7178773ec1985f8770bbef10.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

A New ETL Language -- Easy SQL

用户头像
Bright
2022-05-30

A New ETL Language -- Easy SQL Easy SQL is built to ease data development. With Easy SQL, you can develop your ETL in SQL in an imperative way. It defines a few syntax on top of standard SQL, with which SQL could be executed one by one.

华为云大数据轻模式体验:忘掉底层烦恼,专注数据开发

本文通过具体的实例来对华为云数据湖治理中心DGC进行全方位的认识和了解,透过华为理念下形成的轻量级通用解决方案探讨中长尾企业如何应对数据治理上的难题。

https://static001.geekbang.org/infoq/f3/f3b4736f746689e285af291c39c789b1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

星环科技大数据与人工智能应用研究与案例分享

用户头像
星环科技
2021-12-27

随着大数据时代的来临,各行各业都面临着数字化转型等问题带来的挑战。星环科技基于自研的多款软件平台,为企事业单位应对数字化浪潮的各类问题提供解决方案。本合集将以现实问题为基础,以应用案例为依托,深入浅出地介绍其可行解决方法。

https://static001.geekbang.org/infoq/b0/b01b5251f17f83de1c40beb11e3d0c19.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

OceanBase 源码解读(四):事务的一生

源码是 OceanBase 的“方向盘”,本系列主要围绕“源码解读”,通过文章阐述,帮助大家理清数据库的内在本质。

https://static001.geekbang.org/infoq/f8/f8d65bd5195d247d4ffa27874af881bf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据治理第一步,摆脱“手工作坊”

用户头像
KAMI
2020-08-15

目前绝大部分数据的生产模式,本质上就是个“手工作坊”。不摆脱“手工作坊”模式,数据治理往往沦为规范和工具的无效堆叠,达不到预期效果,甚至失败。摆脱“手工作坊”模式,关键是不要再依靠个体把控流程和质量的把控。

https://static001.geekbang.org/infoq/d2/d2bafa8f0d68b2788b3b4c3f823ad749.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

我嗅到了数据开发工程师的危机

云厂商的一系列新产品的推出,虽然让数据开发工程师们尝到了甜头。但是我们也可以从中敏锐地嗅出一丝危机的气味。

数据开发_数据开发技术文章_InfoQ写作社区