hive
2 人感兴趣 · 129 次引用
- 最新
- 推荐
在 Inteillj IDEA 中使用 Spark 操作 Hive
前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。
windows 下 Hive 搭建踩坑汇总
Hive是一个基于Hadoop的数据仓库工具，以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总，所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装，网上其实有
浅谈离线数据倾斜
用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了'一个人累死,其他人闲死'的情况,这种情况是我们不能接受的,这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要一直等待这个忙碌的节点
Hive 和 Spark 分区策略剖析
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最ju代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。
分享一个 hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题
最近在针对某系统进行性能优化时，发现了一个hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题，该问题具有普适性，故特地拿出来跟大家分享下。
hive etl 通过 ETL 导出 Hive 中的数据
Hive 数据如何导出到关系型数据库中，ETL 导出 Hive 数据
分享一个 HIVE SQL 性能优化点 - 使用公共表表达式 CTE 替换临时表
hive 作业的性能优化是一个永恒的话题，其优化方法也有很多，在此分享一个优化点，即编写 SQL 时使用公共表表达式 CTE 替换临时表，经测试优化效果还不错，尤其是涉及到当量IO的场景。
更改 HIVE 表字段数据类型有哪些注意事项？
更改HIVE 表字段数据类型有哪些注意事项？ 1. 使用 HIVE 表的常见规范 2. 更改HIVE 表字段数据类型的注意事项 3. 相关JIRA
一种基于 Apache Hive 的元数据智能发现方案
导读：本文介绍了一种基于 Apache Hive 实现的元数据智能发现方案，能够满足用户对原始数据表结构信息自动化创建的基本需求，供大家参考。
线上 hive on spark 作业执行超时问题排查案例分享
分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法
如何更改 datax 以支持 hive 的 DECIMAL 数据类型?
1. JAVA 数据类型 - float/double 与 BigDecimal 2. hive 数据类型 - Double,DECIMAL,Numeric 3. 如何更改 datax 以支持 hive 的 DECIMAL 数据类型?
安装和体验 hive
Hive是种基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，今天来一起部署和体验hive
线上数据问题排查案例分享 - 因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题
线上数据问题排查案例分享-因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题
Apache Kyuubi 在 B 站大数据场景下的应用实践
引入了Kyuubi，通过Kyuubi提供的多租户、多引擎代理以及完全兼容Hive Thrift协议能力，实现各个部门Adhoc任务的资源隔离和权限验证。
Arctic 基于 Hive 的流批一体实践
帮助业务平滑地从 Hive 过渡到 Streaming Lakehouse
CDH/CDP 中开启 kerberos 后如何访问 HDFS/YARN/HIVESERVER2 等服务的 webui
在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2 等服务的webui呢？一起看下相关知识。
Apache Kyuubi 在小米大数据平台的应用实践
导读：今天分享的主题是《Kyuubi 在小米大数据平台的应用实践》，主要分为四部分内容：
hive 数据导入：Python 脚本
在对hive表进行数据导入时，针对有分区表插入数据时，总是使用外部临时表映射静态数据文件，然后再用查询的方式插入数据。
庖丁解牛，复盘 HiveServer2 连接频繁卡顿问题
本文作者为中国移动云能力中心大数据团队软件开发工程师张步涛，文章针对 HiveServer2 连接频繁卡顿问题，使用基本的运维手段找出问题根因，并给出解决方案，供大家参考。
