写点什么

分布式计算

0 人感兴趣 · 24 次引用

  • 最新
  • 推荐

分布式计算技术(下):Impala、Apache Flink、星环 Slipstream

实时计算的发展历史只有十几年,它与基于数据库的计算模型有本质区别,实时计算是固定的计算任务加上流动的数据,而数据库大多是固定的数据和流动的计算任务,因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同。

分布式计算技术(上):经典计算框架 MapReduce、Spark 解析

当一个计算任务过于复杂不能被一台服务器独立完成的时候,我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务,用多台计算机通过网络组装起来后,将每个小任务交给一些服务器来独立完成,最终完成这个复杂的计算任务。

https://static001.geekbang.org/infoq/da/da382337d6dba233b57a629b3cb1d0a0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深入浅出分布式,阿里大牛手写《分布式核心原理》Github 一夜爆火

自20世纪40年代计算机诞生以来,及互联网呈现出高速发展的趋势,(互联网理财,移动支付,短视频应用,直播)计算机以及互联网已经深刻影响了人们的生活和工作的方方面面。

Hologres 共享集群助力淘宝订阅极致精细化运营

淘宝订阅是基于C-B关系的用户/商家双私域产品,用户侧与推荐-猜你喜欢互补,构建订阅-我的喜欢心智。商家侧与商家深度联动,结构化,自动化引入优质供给,帮助商家更好地运营粉丝会员。

小迈科技 X Hologres:高可用的百亿级广告实时数仓建设

通过本文,我们将会介绍小迈科技如何通过Hologres搭建高可用的实时数仓。

https://static001.geekbang.org/infoq/64/64a5878e76ad7c6ad19c5893149fbc76.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

个推 TechDay 直播预告 | 6 月 22 日,开启大数据降本提效的破局之道!

用户头像
个推
2022-06-17

本期个推TechDay技术直播邀请到了来自个推和业内的资深大数据技术专家,围绕大数据任务优化、标签存算、透明存储、在/离线混部技术等内容,从实战出发,为大家解读大数据降本提效的破局思路。

https://static001.geekbang.org/infoq/08/0894365346b0b7205e6158f1801a852d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

为什么要开发分布式操作系统

Laxcus分布式操作系统是专门面对云端市场研发的操作系统,它将大量计算机聚合到一起,实现了终端、边缘端、云端的互联互通互操作,用统一的分布式框架和编程接口,还有一体化的存储计算方案,简化了大型计算存储业务开发、使用、管理维护问题。

https://static001.geekbang.org/infoq/c6/c6b488337b18f7cce8a9c561e4433f0e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Laxcus 分布式操作系统三代 UI 演进之路

UI做为实现人机交互的入口,一直是Laxcus分布式操作系统的重点研发对象,目前已经发展到第三代,经历了从字符界面到图形界面的发展过程。这个发展过程,极似当年的Dos、Windows、Linux,把它们曾经在UI界面上走过的路,一个不拉地走了一遍。路上遇到的坑,出

https://static001.geekbang.org/infoq/21/2154cc473fab5550a21042bb19afe019.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据湖揭秘—Delta Lake

Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark,Flink,Hive,PrestoDB,Trino 等查询/计算引擎。作为一个开放格式的存储层,它在提供了批流一体的同时,为湖仓架构提供可靠的,安全的,高性能的保证。

https://static001.geekbang.org/infoq/06/064889b221ad253c79e47b41e0cc9b8d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

湖仓一体,Hologres 加速云数据湖 DLF 技术原理解析

本期我们将带来Hologres高性能分析引擎加速查询云数据湖DLF的技术原理解析。

https://static001.geekbang.org/infoq/4b/4b9e8c391c6c0b489a982c71835ae000.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

都是分布式操作系统,Laxcus 和鸿蒙有何不同?

很多用户在初次听到Laxcus分布式操作系统时,因为“分布式操作系统”这个名词,想当然把Laxcus和鸿蒙划上等号。其实熟悉Laxcus分布式操作系统的人都知道,这两个产品除了操作系统本身这个属性之外,几乎没有相同之处,就连“分布式”也不是一个概念。今天不谈

Hive on Spark 和 Spark sql on Hive,你能分的清楚么

摘要:结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序。

Tensorflow for Java + Spark-Scala 分布式机器学习计算框架的应用实践

Qunar 智能风控场景中,风控研发团队经常会应用一些算法模型,来解决复杂场景问题。典型的如神经网络模型,决策树模型等等。本篇文章将和大家分享一下,在预测服务部署阶段,基于 Tensorflow for Java 和 Spark-Scala 构建分布式机器学习计算框架的实践经验。

https://static001.geekbang.org/infoq/a6/a6b158ffb4150b859bedce053b79389a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式图计算引擎

用户头像
6979阿强
2021-06-30

最近在做一个图数据库系统的项目,接触到GraphScope,搜了下发现是阿里发布的分布式图处理框。之前没接触过,所以了解下,常见的还有NetworkX、CuGraph、GraphLab等等,但基本都是国外的。国内大厂就有阿里的GraphScope,腾讯的Plato,字节的ByteGraph。字节

拥抱云原生,Fluid 结合 JindoFS:阿里云 OSS 加速利器

Fluid 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如大数据应用、AI 应用等。通过 K8s 服务提供的数据层抽象,可以让数据像流体一样在K8s 上层云原生应用计算之间灵活高效地移动、复制、驱逐等。

Ray 1.0 架构解读

用户头像
lipi
2021-02-12

Ray 1.0 架构的官方文章翻译,加了一点点理解

https://static001.geekbang.org/infoq/d8/d8e49ca54aa9a7666603eea7a5336ee6.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

HPC on Volcano:容器在气象行业 HPC 高性能计算场景的应用

HPC作为传统的分布式计算模式,在很多领域都有着广泛的应用,很多用户都希望能将HPC应用迁移到容器中运行,通过Kubernetes强大的功能来进行作业管理。本文以传统的HPC应用WRF为例,探讨Volcano是如何支持HPC应用的。

LAXCUS 大数据集群操作系统挖矿

用户头像
陈泽云
2020-11-19

显示用LAXCUS大数据集群操作系统挖矿的过程。其他不说,先看图。

https://static001.geekbang.org/infoq/cc/cc69cbf9afdbaf4cd20bd2173b136484.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Hazelcast IMDG 带你瞬间进入内存计算的时代

用户头像
张磊
2020-10-08

Hazelcast是一个平台性的分布式内存网格计算框架引擎,可以实现基于分布式内存计算的诸多场景的应用框架 , 它作为一个开源可内嵌式内存网格计算框架,通过简单的配置, 就可以轻松的让你的应用拥有弹性可扩展的分布式内存计算能力,可以带你瞬间进入内存计

分布式系统的核心:共识问题

用户头像
多颗糖
2020-10-03

从0开始讨论分布式系统的共识问题,回顾解决共识问题的历史,和提出的一些算法。

译文 MapReduce: 大型集群上的简化数据处理

用户头像
海神名
2020-05-04

MapReduce: Simplified Data Processing on Large Clusters 译文。本人英语渣渣,翻译大部分借助DeepL这个工具,并稍加处理,哈哈。

分布式计算_分布式计算技术文章_InfoQ写作社区