hive 学习之 hive 的架构原理

1、CLI（用户接口）

就是你在 hive 运行的时候，你的那个 shell 终端其实就是一个 client

2、元数据：metastore

元数据包括：表名、表所属的数据库（默认是 default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

默认存储在自带的 derby 数据库中，推荐使用 MySQL 存储 Metastore

3、HDFS

hive 本身不会存任何数据，是使用 hdfs 进行存储的，使用 MapReduce 进行计算

4、Driver 驱动器

（1）解析器（SQL Parser）：将 SQL 字符串转换成抽象语法树 AST，这一步一般都用第三方工具库完成，比如 antlr；对 AST 进行语法分析，比如表是否存在、字段是否存在、SQL 语义是否有误。

就是解析你的 sql 是否正确

（2）编译器（Physical Plan）：将 AST 编译生成逻辑执行计划。

将你的 sql 转换成一个运行的实际任务

（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。

对你的这个任务进行优化

（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来说，就是 MR/Spark。

Hive 通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的 Driver，结合元数据(MetaStore)，将这些指令翻译成 MapReduce，提交到 Hadoop 中执行，最后，将执行返回的结果输出到用户交互接口。