写点什么

大数据架构

0 人感兴趣 · 10 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/bd/bdd2e69ab378ef5883a180b278d43842.png?x-oss-process=image/resize,w_416,h_234

与 Hadoop 对比,我是如何看待 Spark 技术?

用户头像
会飞的鱼3 月 2 日

首先看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。

https://static001.geekbang.org/infoq/18/181fceb9a3ca4290362f4907c391f0ff.png?x-oss-process=image/resize,w_416,h_234

分布式存储单主、多主和无中心架构的特征与趋势

用户头像
读字节2 月 25 日

多主架构的实现不仅完全解决了单主的瓶颈问题之外,还防止了无中心架构的所有缺点,当然这种架构从分布式存储的未来说肯定是最好的一种选择了!关键是到底有没有这种架构呢?目前只能说又是Google了!Colossus File System了解一下,GFS的下一代的继任者!

https://static001.geekbang.org/infoq/bf/bf480e1054c377596823e436fb230738.png?x-oss-process=image/resize,w_416,h_234

深度探索 Hadoop 分布式文件系统(HDFS)数据读取流程

用户头像
读字节2020 年 12 月 24 日

Hadoop分布式文件系统(HDFS)是Hadoop大数据生态最底层的数据存储设施。因其具备了海量数据分布式存储能力,针对不同批处理业务的大吞吐数据计算承载力,使其综合复杂度要远远高于其他数据存储系统。

https://static001.geekbang.org/infoq/d0/d0901be30f2408b5a50e9c9ec17b2727.jpeg?x-oss-process=image/resize,w_416,h_234

作业帮基于 Apache Doris 的数仓实践

用户头像
DorisDB2020 年 9 月 29 日

在过去半年多时间内,我们基于Apache Doris,构建了数仓实时查询系统。

大数据架构_大数据架构资料文章-InfoQ写作平台