写点什么

大数据Hadoop

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐

大数据 Hadoop 之——HDFS 小文件问题与处理实战操作

每个文件均按块存储,每个块的元数据存储在NameNode的内存中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意,存储小文件所需要的磁盘容量和数据块的大小无关。每个块的大小可以通过配置参数(dfs.blocksize)来规定

大数据Hadoop_大数据Hadoop技术文章_InfoQ写作社区