hadoop
0 人感兴趣 · 29 次引用
- 推荐
- 最新
MapReduce 简介及过程详解
MapReduce是面向大数据并行处理的计算模型、框架和平台，对于大数据开发或者想要接触大数据开发的开发者来说，是必须要掌握的，它是一种经典大数据计算框架，现在有很多开源项目的内部实现都会直接或间接地借鉴了MR过程的实现。Hadoop中的MapReduce 是一个离
DolphinScheduler-1.3.0-dev 功能体验
Apache Dolphin Scheduler - 1.3.0 dev分支部署及新功能体验
3.7 亿条保单数据怎么分析？这个大数据平台有绝招
受到新冠疫情影响，全球经济面临冲击，国内经济已进入复工复产有序发展的新常态阶段，企业想要实现持续增长需另寻突破点，越来越多的企业把视线转向了企业内部，希望通过推进精细化管理来实现降本增效。
YARN 的架构设计和工作原理（通俗易懂）
本文旨在用最通俗易懂的语言帮你理解Apache Yarn的架构设计和工作原理。相信学习大数据的同学都有相同的感受，知识点又多又密又杂，所以我将会按照我自己的理解帮你归纳梳理Apache Yarn的知识点，这些知识点都是Yarn最核心的内容
三大 OSS 缓存加速系统巅峰对决
在上篇文章 《OSS太慢？看我们怎么提速10倍！》中提到，JuiceFS 可以提高 OSS 在大数据场景下的性能 10 倍，当时有朋友在朋友圈建议我们用 JuiceFS 和类似的对象存储加速方案做一下比较。在花了一个月时间准备之后，有一些阶段性成果跟大家分享一下。
基于 Ambari 的大数据平台搭建
同CDH部署类似，步骤分为ambari的部署和hdp的部署，先以1台为例(内存>6G，磁盘划分/至少40G，/data/10G)，后续节点可以通过扩容方式加入集群，可参考：https://blog.csdn.net/qq_32593713/article/details/81429573
奈学教育分享：Hadoop 分布式系统 HDFS 工作原理
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。
极客大学架构师训练营 大数据 GFS、MapReduce、BigTable，Hadoop HDFS Yarn Hive 第 12 次作业
笔者在一家成立于1885年的全球性跨国银行，用大数据处理的业务包括：分析出洗黑钱的用户，根据用户的存款和消费数据给用户信用评分，贷款的时候给出相应额度。
Hadoop 集群搭建 -02 安装配置 Zookeeper
这一篇接着记录集群搭建，开始安装配置zookeeper，它的作用是做集群的信息同步，zookeeper配置时本身就是一个独立的小集群，集群机器一般为奇数个，只要机器过半正常工作那么这个zookeeper集群就能正常工作，
深度对比 Apache CarbonData、Hudi 和 Open Delta 三大开源数据湖方案
摘要：今天我们就来解构数据湖的核心需求，同时深度对比Apache CarbonData、Hudi和Open Delta三大解决方案，帮助用户更好地针对自身场景来做数据湖方案选型。
