大数据培训 hive 和 mapreduce 的区别

​

1.hive 本身只是在 hadoop map reduce 或者 spark 计算引擎上的封装，应用场景自然更局限，不可能满足所有需求。有些场景是不能用 hive 来实现，就需要 map reduce 或者 spark rdd 编程来实现。

2.结构复杂的日志文件，首先要经过 ETL 处理（使用 mapreduce），得到的数据再有 hive 处理比较合适。直接让 hive 处理结构复杂的数据估计很难处理。

小结：业务比较复杂的，还是必须写 mapreduce 才能实现。

随着工作的数据内容越来越多,越来越复杂,对应的调整也越来越多,越来越复杂.纯使用 MR 方式整个流程就比较复杂,如果需要修改某个部分,那首先需要修改代码中的逻辑,然后把代码打包上传到某个可访问路径上(一般就是 hdfs),然后在调度平台内执行.如果改动较大的情况,可能还会需要在测试环境中多次调试. 总之就是会花比较多的时间在非业务逻辑改动的工作上.

考虑到维护的成本的增大,慢慢的开始准备将 MR 的作业,逐渐的移植到一些脚本平台上去，hive 成了我们的首选_大数据培训。

mr 和 hive 比较

1. 运算资源消耗

无论从时间，数据量，计算量上来看，一般情况下 mr 都是优于或者等于 hive 的。mr 的灵活性是毋庸置疑的。在转换到 hive 的过程中，会有一些为了实现某些场景的需求而不得不用多步 hive 来实现的时候。

2. 开发成本/维护成本

毫无疑问，hive 的开发成本是远低于 mr 的。如果能熟练的运用 udf 和 transform 会更加提高 hvie 开发的效率。另外对于数据的操作也非常的直观，对于全世界程序员都喜闻乐见的 sql 语法的继承也让它更加的容易上手。

hive 独有的分区管理，方便进行数据的管理。

代码的管理也很方便，就是直接的文本。

逻辑的修改和生效很方便。

但是当出现异常错误的时候，hive 的调试会比较麻烦。特别是在大的生产集群上面的时候。

3. 底层相关性

在使用 hive 以后，读取文件的时候，再也不用关心文件的格式，文件的分隔符，只要指定一次，hive 就会保存好。相比 mr 来说方便了很多。

当侧重关心与业务相关的内容的时候，用 hive 会比较有优势。而在一些性能要求高，算法研究的时候，mr 会更加适合。

文章来源于全栈工程师的自我修养

​