看这篇就够了丨基于 Calcite 框架的 SQL 语法扩展探索

作者：袋鼠云数栈DTinsight

2023-01-12
浙江
本文字数：2443 字
阅读完需：约 8 分钟

Calcite 在大数据系统中有着广泛的运用, 比如 Apache Flink, Apache Drill 等都大量使用了 Calcite，理解 Calcite 的原理可以说已经成为理解大数据系统中 SQL 访问层实现原理的必备条件之一。

但是不少人在学习 Calcite 的过程中都发现关于 Calcite 的实践案例其实很少，本文就将为大家详细介绍如何基于 Calcite 框架的 SQL 语法扩展探索使之更符合你的业务需求，以及扩展 SQL 在数栈产品的应用实践。

Calcite 介绍及用途

Calcite 介绍

Apache Calcite 是一个动态的数据管理框架，本身不涉及任何物理存储信息，而是专注在 SQL 解析、基于关系代数的查询优化，通过扩展方式来对接底层存储。

目前 Apache Calcite 被应用在广泛的数据开源系统中，比如 Apache Hive、Apache Phoenix、Apache Flink 等。

Calcite 的用途

Calcite 提供了 ANSI 标准 SQL 的解析，以及各种 SQL 方言，针对来自于不同数据源的复杂 SQL，在 Calcite 中会把 SQL 解析成SqlNode语法树结构，然后根据得到的语法树转换成自定义 Node，通过自定义 Node 解析获取到表的字段信息、以及表信息、血缘等相关信息。

下图展示了一部分对外提供的接口信息：

sqlparser 解析模块主要提供了以下几种功能 :

• 解析 SQL 包含的所有表、字段信息

• 解析 SQL 的 udf 函数

• 解析 SQL 的血缘信息，包括表级血缘、字段血缘

• 解析自定义 SqlNode

• api 服务变量解析替换

SQL 语法扩展

了解完 Calcite 是什么以及用途后，下面为大家分享Calcite SQL语法扩展的相关内容。

SQL 语法扩展背景

在 sqlparser 中进行 sql 解析的场景中，有两种情况需要使用到自定义扩展，一是 Calcite 不支持的一些语法；二是在一些场景中存在 sql 中带有 ${var}自定义变量语法。

那么针对上面的这两种情况，Calcite 的自定义扩展是如何实现的呢？自定义扩展主要涉及到以下三个文件：

• Parser.jj：Parser.jj 是一个 Calcite 核心的语法和词法文件，基于 Apache FreeMaker 模版，该模版包含着变量，这些变量在编译时可以被替换

• parserImpl.ftl：提供自定义 SQL 语句、literals、dataType 的实现方法

• config.fmpp：该文件是 FMPP 的配置文件，提供了 SQL 语句、literals、dataType 的接口扩展入口

Calcite 使用 javacc 作为语法解析器，freemaker 作为模版，把 parserImpls.ftl、config.fmpp、Parser.jj 模版合成最终的语法词法文件，最终通过 javacc 编译成自定义的解析器源码，整体流程如下图所示：

扩展 SQL 实现

● 工程目录

● 扩展 sql 实现案例

支持以下 limit 相关语法以及数字可以写成 ${var}形式：

-> limit count， limit start count

-> limit count offset start

-> offset start limit count

在原生的 Calcite 解析是支持 limit count 语法的，但是由于返回 SqlOrderBy 对象内部类 Operator 的 unparse 方法在 SQL 输出过程中对原始 SQL 进行了改写，因此需要使用扩展SQL得到正确的 SQL。

下面介绍一个 limit offset 语法扩展样例，扩展 SQL 如下:

select id, name from test where id > 3 order by id desc limit 1 offset ${offset_val}

整体流程如下：

Parser.jj 定义 ${var}变量的 token 词法 DOLLAR_VARIABLE：

Parser.jj 扩展的变量方法接入，下面方法会在解析到 limit、offset 关键字后面的一个词时进行调用：

Parser.jj limit offset 在 select 语法的核心处理逻辑：

-> 定义变量

主要定义了三个 boolean 类型的变量，isOffsetLimit 表示 offset limit 语法，isLimitOffset 表示 limit offset 语法，isOnlyLimit 表示 limit count、limit start count 语法。

-> 定义处理逻辑

-> 返回自定义SqlNode

针对符合上面的三个 boolean 条件时，使用自定义 ExtendSqlOrderBy 的扩展类。

parserImpl.ftl 定义扩展的 SqlNode ExtendDollarVariable：

config.fmpp 定义包以及扩展实现类的 import：

扩展 SqlNode 实现：

-> 变量实现sqlNode

-> 扩展 limit 实现类 ExtendSqlOrderBy，该类实现了 SqlOrderBy，并在此基础扩展了 limit 的 SqlNode，以及 isOffsetLimit、isLimitOffset、isOnlyLimit 三个 boolean 标识 limit 的不同语法

通过上面的这些步骤后，最后解析生成的 SqlNode 语法树如下所示：

扩展 SQL 在数栈的应用

目前袋鼠云的底层 sqlparser sql 解析涉及的子产品应用包括API数据服务、离线开发、客户数据洞察（标签）、实时开发等，虽然大部分针对 Calcite 的 SQL 语法扩展相对于上层的产品应用感知不是很明显，但是扩展 SQL 还是解决了一些痛点，主要如下：

• 逐渐替换底层采用了多种解析工具解析的情况，使维护更简单，减少 bug 的产生

• 解决一些不支持的语法，避免在上层业务层做处理或者在底层做一些特殊处理

以在 API 数据服务后续接入的 like 语法改造为例为大家进行分享，目前的 API 数据服务中支持 like ${var}语法，在执行测试中通过传递 like 语法来确定执行的模糊匹配方式，例如 %xx、xx%、%xx%。

收到客户提出的优化 like 语法场景，袋鼠云本着客户第一的原则，这种合理的优化需求是采纳的。SQL 支持 like%${var}、${var}%、%${var}%，这样在执行测试中就不需要输入 %了，目前扩展 SQL 语法已经支持这种优化的 like 语法，预计在 2023 年上半年会接入进去，下面通过 API 数据服务展示当前 like SQL 和扩展后的 SQL 差异：

● 当前 like ${var}处理

-> 生成 API