Bigdata 作业 第 11 周
作业内容
实现 Compact table command
要求:
添加 compact table 命令,用于合并小文件,例如表 test1 总共有 50000 个文件,每个 1MB,通过该命令,合成为 500 个文件,每个约 100MB。
语法:
COMPACT TABLE table_identify [partitionSpec] [INTO fileNum FILES];
说明:
基本要求是完成以下功能:COMPACT TABLE test1 INTO 500 FILES;
如果添加 partitionSpec,则只合并指定的 partition 目录的文件;
如果不加 into fileNum files,则把表中的文件合并成 128MB 大小。
作业实现
代码参考
复制代码
评论