写点什么

大数据平台

1 人感兴趣 · 31 次引用

  • 最新
  • 推荐

火山引擎 DataLeap 数据调度实例的 DAG 优化方案(三):技术实现

在原始数据中,是以一个数组的形式返回节点信息及依赖关系。所以,需要对数据进行处理形成图所需要的数据,同时,利用多个 map 对数据进行存储,方便后续对数据进行检索,减少时间复杂度。

火山引擎 DataLeap 数据调度实例的 DAG 优化方案 (二):功能设计

针对上面存在的问题以及对需求的分析,我们可以进行如下的功能实现与设计:

https://static001.geekbang.org/infoq/5e/5ebc12bbe741dc554f461e322d556352.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分享一个好问题:企业为什么要区分数据中台和数据平台?

用户头像
雨果
2022-10-14

有位同行领导问了一个非常好的问题:在我们中台研究中为什么要刻意区分中台和平台,这么做有什么意义?这是一个非常非常好的问题,也是我们中台研究的一个重点,也是我们非常希望解释清楚的一个问题。要解释清楚平台和中台的区别,需要从中台的本质和目的说起

https://static001.geekbang.org/infoq/d3/d3d9331cb17c32791a3c5dce0aae752e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据中台选型前必读:数据中台与大数据平台有什么区别

用户头像
雨果
2022-10-14

数据中台与数据平台到底有什么区别,分分钟给你讲明白。

https://static001.geekbang.org/infoq/8b/8b647b42bdbece3db527b8bcee2fa79b.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据治理的内核:数据标准

用户头像
Taylor
2022-09-05

“书同文、车同轨”的要求古已有之,而数字化时代的标准规范中,数据标准化无疑是重要根基之一。

https://static001.geekbang.org/infoq/d3/d3bb69c49256ab9d877f75a54334d3e4.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

一些企业数据平台建设的思考

用户头像
Bright
2022-07-28

本文首先讨论了什么是数据平台这个问题,尝试回答了数据平台的定义和功能范围。接着,结合作者本人所经历过的数据项目经验,对建设企业数据平台的思路进行了一定的梳理。

https://static001.geekbang.org/infoq/3b/3b0cc1d3d93d0f46be78f49c4884188d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

私藏干货分享:关于企业架构中如何进行平台化

备注:这一篇是来自在自己写的书某些章节删减,在这里并不对文章中所涉及到内容深入展开。  

https://static001.geekbang.org/infoq/be/be5128965ca90e2014f64987bd598cb1.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

TASKCTL 关于 "Fastjson 反序列化远程代码执行漏洞” 的风险通告

用户头像
TASKCTL
2022-06-14

TASKCTL是一款企业级完全国产免费的ETL批量调度作业处理平台;支持各类脚本任务程序和扩展;具备可视化图形拖拽设计界面以及可视化任务管理、计划调度、实时监控、消息预警和日志分析;有效弥补了传统ETL工具在调度管理和监控分析方面不足。

https://static001.geekbang.org/infoq/e5/e51df43c57e8b8fce01c5a3b2931956d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

企业智能化转型 meetup 回顾|开源 BI & AI 助力企业转型之旅三阶段!

本次活动向大家介绍了如何利用开源BI & AI技术,帮助企业完成信息化—数字化—智能化转型三阶段,搭建自己的BI、AI平台,并提升AI模型性能,降低企业成本。

https://static001.geekbang.org/infoq/85/851383b5eed47a3fcb66fe604a0d0bd3.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink

2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 成功加入 Apache 孵化器,进入孵化器后,SeaTunnel 社区花费了大量时间来梳理整个项目的外部依赖以确保整个项目的合规性,终于在贡献者们四个月的努力下,社区于 2022 年 3 月 18 日正式发布了首个 Apache 版

https://static001.geekbang.org/infoq/3a/3a5782c1d13ea0a57d7fb982472e2edc.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache SeaTunnel & Kyuubi 联合 Meetup | 见证中国大数据崛起!

Apache SeaTunnel 和 Apache Kyuubi两大新锐社区携手,精心筹备,为企业大数据开发者、开源技术爱好者带来一场技术盛宴。 足不出户,即可获得: * 技术大咖实践秘诀 * 一线企业踩坑心得 * 新锐项目发展趋势 * 开源社区实战攻略

https://static001.geekbang.org/infoq/c1/c1c691bad7a5d2132cf7a2d28a8f33ef.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

星环科技 TDH8.1.0:全新升级为用户带来极致体验

用户头像
星环科技
2021-12-06

TDH8.1.0是星环科技自主研发的一站式多模型数据管理平台,采用创新的多模型技术架构和统一数据管理,构建服务于整个企业的统一数据资源库,让不同部门的数据间的隔阂彻底打破,使跨部门数据灵活调用拥有技术支撑,有效降低了用户的开发成本以及总运维成本。

https://static001.geekbang.org/infoq/97/9780ddff29f89c236bb0a48b6d5ee901.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据获取客户系统软件开发源码

大数据获取客户系统软件开发源码搭是【本文由溦▌T_I3O源码6O64開發3Z97▌方面整理,孵化欢迎交流!】一款专门为广大的商户开发的营销拓客服务软件,平台整合了众多行业的优质资源,帮助传统商家建立完善的营销渠道,消费者可以使用这款软件先领券在购物,而商

https://static001.geekbang.org/infoq/0f/0ff8fd2f257a7236ae305e735f46e270.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据精准营销 APP 系统开发源码搭建

大数据精准营销系统开发源码搭建是【本文由溦▌T_I3O源码6O64開發3Z97▌方面整理,孵化欢迎交流!】一款专门为广大的商户开发的营销拓客服务软件,平台整合了众多行业的优质资源,帮助传统商家建立完善的营销渠道,消费者可以使用这款软件先领券在购物,而商家

星环研发总监为你揭秘 TDH8.0 的前因后果 | TDH8.0 使用必读 3

用户头像
星环科技
2021-07-20

星环科技于2021年3月发布了星环极速大数据平台TDH的8.0版本。相信很多用户都对这款产品非常感兴趣。本系列文章向您逐一介绍TDH8.0全新功能和技术创新。帮助企业级数据平台用户更全面、深入地了解前沿的大数据技术,更好地技术选型。

https://static001.geekbang.org/infoq/97/9780ddff29f89c236bb0a48b6d5ee901.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

获客达人 app 系统开发

全网大数据获客达人系统app是【本文由溦▌T_I3O源码6O64開發3Z97▌方面整理,孵化欢迎交流!】一款专门为广大的商户开发的营销拓客服务软件,平台整合了众多行业的优质资源,帮助传统商家建立完善的营销渠道,消费者可以使用这款软件先领券在购物,而商家也可以

联邦学习—金融数据壁垒和隐私保护的解决之道

用户头像
索信达控股
2021-06-23

金融AI的每一步,大数据红利在左,数据隐私安全在右;联邦学习便是能兼顾金融数据挖掘和保护隐私的利器。索信达作为金融大数据行业服务科技的先行者,持续在联邦学习领域进行深入研究及深耕。

https://static001.geekbang.org/infoq/7f/7f7404cdf44fd05d0389e7937ebb0f2f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

【里程碑】Linkis 1.0.0-RC1 版本发布

用户头像
WeDataSphere
2021-03-23

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。

https://static001.geekbang.org/infoq/4d/4de4eb94af74cfa19862f341b9e48283.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Prophecis 0.2.0 版本发布

用户头像
WeDataSphere
2021-03-22

Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台,提供多种模型训练调试方式,集成多种开源机器学习框架,具备机器学习计算集群的多租户管理能力,提供生产环境全栈化容器部署与管理服务。

https://static001.geekbang.org/infoq/44/446520e06ddb20079cca2ebb887d2ebd.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Spark Shuffle 内部机制(一)

用户头像
hanke
2021-02-04

Spark Shuffle Write框架的内部机制与设计

https://static001.geekbang.org/infoq/98/987616828ed9a53504d2ecf896fbb6c6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

应用案例| 基于 Volcano 的锐天大规模离线高性能计算生产实践

本篇文章以锐天投资基于Volcano进行的离线高性能计算最佳实践为线索,深度解读Volcano在金融领域技术架构中的定制与应用。

https://static001.geekbang.org/infoq/6c/6c5724707311b104ba5873740afb8445.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

海量小文件存储系统 HOS 探索与实践

对象存储业界较为普遍解决方案,一是对小文件进行合并处理,二是构建高速缓存;HBase2.0之后支持的MOB新特性可以满足中小对象存储的需求 ,决定基于HBase MOB特性遵循AWS S3接口规范开发HOS(Hbase Object Storage)服务。

https://static001.geekbang.org/infoq/fc/fcfc2f0a762ba7fb86bc6a4a7c6bdee2.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

公安警务大数据可视化平台开发建设

用户头像
t13823115967
2020-12-05

在随着数字时代的飞速发展,海量的数据在日益累积。而海量的数据不能有效的得到应,且无法快速筛选有效的信息,将这些数据加以筛选、提炼,

https://static001.geekbang.org/infoq/b6/b66ff107f1f213c8b5d5b4794e7f5c22.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

智慧公安大数据分析平台开发解决方案

用户头像
t13823115967
2020-12-05

近年来,随着数据的不断累积,大数据分析平台不单单只是强调一些概念和技术而已,它加快了各大领域之间的业务融合。

https://static001.geekbang.org/infoq/8b/8b9af8ecc8d3278eed253b0520e960ce.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

随笔文,关于”中台“ 的一些“小偏论”

这是一个随笔,也是回答几个“中台” 直播的几个问题与仅代表个人的观点

大数据平台_大数据平台技术文章_InfoQ写作社区