hadoop
1 人感兴趣 · 107 次引用
- 最新
- 推荐
Hadoop 实战篇（1）
在前面介绍过了Hadoop-离线批处理技术的整体架构，接下来便开始学习安装配置并使用 Hadoop ; 将从以下几点介绍: Linux 环境的配置与安装 Hadoop、Hadoop 的三种安装模式介绍、本地模式安装和伪集群模式安装
如何提升 Hadoop 访问对象存储 US3 的效率？我们做了这些技术实践
在信息爆炸的大数据时代，如何以更低成本来解决海量数据的存储问题，已成为企业大数据业务中的重要一环。UCloud自研的新一代对象存储服务US3，在过去一段时间，针对大数据业务场景推出了计算存储分离和大数据备份解决方案。
Hadoop 定位问题日志跟踪
进去需要在Hadoop集群上进行写磁盘的策略，由于hadoop两块数据磁盘大小不一致，导致运行时小盘容易被写满，导致yarn异常，为此需要修改磁盘策略为选择策略，想通过修改原始的RoundRobinVolumeChoosingPolicy策略为AvailableSpaceVolumeChoosingPolicy策略修改
UCloud 一站式智能大数据平台 USDP 免费版正式发布！
近日UCloud全新发布了针对私有化部署场景下的一站式智能大数据平台USDP免费版。免费版USDP支持HDFS、Kudu、ES全生态，助力企业提升大数据开发、运维效率，快速构建大数据业务的分析处理能力。
HIVE 跑个 insert into select xxx 为什么 CPU 飙高
HIVE跑个insert into select xxx 为什么CPU飙高
现在后端都在用什么数据库存储数据？
那我就根据这两三年的研究与工作经历，说说如今的情况。 1.Oracle：传统行业，尤其是政府，医疗，学校和大企业，基本上还是Oracle应用最广，其次就是DB2。反而是WebLogic和WebSphere这些中间件基本上随着经典javaee的没落，已经逐步退出历史舞台，
精选 Hadoop 高频面试题 17 道，附答案详细解析
hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。
Yarn 的架构和原理
YARN的基本设计思想是将MapReduce V1中的JobTracker拆分为两个独立的服务：ResourceManager和ApplicationMaster。ResourceManager负责整个系统的资源管理和分配，ApplicationMaster负责单个应用程序的的管理。
hadoop 1.0 和 hadoop 2.0 的区别
Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。
HDFS 文件限额配置
在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目录而不是针对账号，可以 让每个账号仅操作某一个目录，然后对目录设置配置。
yarn 集群的架构和工作原理
YARN的基本设计思想是将MapReduce V1中的JobTracker拆分为两个独立的服务：ResourceManager和ApplicationMaster。ResourceManager负责整个系统的资源管理和分配，ApplicationMaster负责单个应用程序的的管理。
Hadoop- 离线批处理技术
Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。
HDFS 的动态扩容及动态缩容
随着公司业务的增长，数据量越来越大，原有的datanode节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。也就是俗称的动态扩容。
HDFS 的垃圾桶机制
每一个文件系统都会有垃圾桶机制，便于我们将删除的数据回收到垃圾桶里面去，避免垃圾桶，避免我们某些误操作错误的删除一些重要文件，回收到垃圾桶里里面的资料数据，都可以进行恢复
Hadoop 的发展及其架构
Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
HDFS 的 block 块和副本机制
hdfs将所有的文件全部抽象成为block块来进行存储，不管文件大小，全部一视同仁都是以block块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理
Hadoop 3.x 版本相对于 Hadoop 2.x 的新特性
Apache Hadoop 3.0.0在以前的主要发行版本（hadoop-2.x）上进行了许多重大改进。
跟我学丨如何用鲲鹏服务器搭建 Hadoop 全分布式集群
摘要：今天教大家如何利用鲲鹏服务器搭建Hadoop全分布式集群，动起来···
MapReduce 中 shuffle 阶段的数据压缩机制
在shuffle阶段，可以看到数据通过大量的拷贝，从map阶段输出的数据，都要通过网络拷贝，发送到reduce阶段，这一过程中，涉及到大量的网络IO，如果数据能够进行压缩，那么数据的发送量就会少得多，那么如何了解hadoop当中支持文件的那些压缩算法, 已经如何配置
