写点什么

openGauss 内核分析:SQL by pass & 经典执行器

  • 2022 年 9 月 08 日
    广东
  • 本文字数:3612 字

    阅读完需:约 12 分钟

本文分享自华为云社区《openGauss内核分析(七):SQL by pass & 经典执行器》,作者:Gauss 松鼠会 。


执行引擎一般负责查询的执行,执行引擎在 SQL 执行栈中起到接收优化器生成的执行计划 Plan、并对通过存储引擎提供的数据读写接口,实现对数据进行计算得到查询的结果集。



在典型的 OLTP 场景中,简单查询占了很大一部分比例。这种查询的特征是只涉及单表和简单表达式的查询,因此为了加速这类查询,openGauss 提出了 SQL by pass 框架,在 parse 层对这类查询做简单的模式判别后,进入到特殊的执行路径里,跳过经典的执行器执行框架,包括算子的初始化与执行、表达式与投影等经典框架,直接重写一套简洁的执行路径,并且直接调用存储接口,这样可以大大加速简单查询的执行速度。

SQL by pass


enable_opfusion 用于控制是否对简单增删改查进行优化,简单 insert 语句在开启 enable_opfusion 时的执行计划如下



由于开启 SQL BY PASS,从 exec_simple_query 过来的语句,会判断可以走 SQL BY PASS,否则进入 CreatePortal 走经典执行流程。


static void exec_simple_query(const char* query_string, MessageType messageType, StringInfo msg = NULL){        /* SQL bypass */        if (runOpfusionCheck) { // 进入SQL by pass            (void)MemoryContextSwitchTo(oldcontext);            void* opFusionObj = OpFusion::FusionFactory(                OpFusion::getFusionType(NULL, NULL, plantree_list), oldcontext, NULL, plantree_list, NULL);            if (opFusionObj != NULL) {                ((OpFusion*)opFusionObj)->setCurrentOpFusionObj((OpFusion*)opFusionObj);                if (OpFusion::process(FUSION_EXECUTE, NULL, completionTag, isTopLevel, NULL)) {                    CommandCounterIncrement();                    finish_xact_command();                    EndCommand(completionTag, dest);                    MemoryContextReset(OptimizerContext);                    break;                }                Assert(0);            }            (void)MemoryContextSwitchTo(t_thrd.mem_cxt.msg_mem_cxt);        }        /*         * Create unnamed portal to run the query or queries in. If there         * already is one, silently drop it.         */        portal = CreatePortal("", true, true); // 经典执行流程}
复制代码


进入 InsertFusion::execute 完成数据插入操作。


#0  InsertFusion::execute (this=0x7fd93a4104f8, max_rows=9223372036854775807, completionTag=0x7fd933e67020 "@p\346\063\331\177")    at opfusion_insert.cpp:297#1  0x0000000001ac00d9 in OpFusion::fusionExecute (this=0x7fd93a4104f8, msg=0x0, completionTag=0x7fd933e67020 "@p\346\063\331\177",    isTopLevel=true, isQueryCompleted=0x0) at opfusion.cpp:453#2  0x0000000001ac0389 in OpFusion::process (op=0, msg=0x0, completionTag=0x7fd933e67020 "@p\346\063\331\177", isTopLevel=true,    isQueryCompleted=0x0) at opfusion.cpp:491#3  0x000000000193a910 in exec_simple_query (query_string=0x7fd966ad2060 "insert into t1 values(1,200);",    messageType=QUERY_MESSAGE, msg=0x7fd933e67210) at postgres.cpp:2624
复制代码


SQL by pass 适应的场景有:


  • 只支持 indexscan 和 indexonlyscan,且全部 WHERE 语句的过滤条件都在索引上。

  • 只支持单表增删改查,不支持 join、using。

  • 只支持行存表,不支持分区表,表不支持有触发器。

  • 不支持 active sql、QPS 等信息统计特性。

  • 不支持正在扩容和缩容的表。

  • 不支持查询或者修改系统列。

  • 只支持简单 SELECT 语句,例如


SELECT c3 FROM t1 WHERE c1 = ? and c2 =10;
复制代码


仅可以查询目标表的列,c1 和 c2 列为索引列,后边可以是常量或者参数,可以使用 for update。


  • 只支持简单 INSERT 语句,例如:


INSERT INTO t1 VALUES (?,10,?);
复制代码


仅支持一个 VALUES,VALUES 里面的类型可以是常量和参数,不支持 returning。


  • 只支持简单 DELETE 语句,例如:


DELETE FROM t1 WHERE c1 = ? and c2 = 10;  
复制代码


c1 和 c2 列为索引列,后边可以是常量或者参数。


  • 只支持简单 UPDATE 语句,例如:


UPDATE t1 SET c3 = c3+? WHERE c1 = ? and c2 = 10;
复制代码


c3 列修改的值可以是常量和参数,也可以是一个简单的表达式,c1 和 c2 列为索引列,后边可以是常量或者参数。

经典的执行器


关闭 enable_opfusion,简单 insert 的执行计划是这样的



在这种执行流程中 Portal 是执行 SQL 语句的载体,每一条 SQL 对应唯一的 Portal,不同的查询类型对应的 Portal 类型也有区别。


typedef enum PortalStrategy {    PORTAL_ONE_SELECT, // SQL语句包含单一的SELECT查询    PORTAL_ONE_RETURNING, // INSERT/UPDATE/DELETE语句包含Returning    PORTAL_ONE_MOD_WITH, // 查询语句包含With    PORTAL_UTIL_SELECT, // 工具类型查询语句,如explain    PORTAL_MULTI_QUERY // 所有其他类型查询语句} PortalStrategy;
复制代码


Portal 的生命周期管理在 exec_simple_query 函数中实现,该函数负责 Portal 创建、执行和清理。Portal 执行的主要执行流程包括 PortalStart 函数、PortalRun 函数、PortalDrop 函数几个部分。其中 PortalStart 函数负责进行 Portal 结构体初始化工作,包括执行算子初始化、内存上下文分配等;PortalRun 函数负责真正的执行和运算,它是执行器的核心;PortalDrop 函数负责最后的清理工作,主要是数据结构、缓存的清理。



PortalRun 函数根据查询类型进入不同的处理函数


bool PortalRun(    Portal portal, long count, bool isTopLevel, DestReceiver* dest, DestReceiver* altdest, char* completionTag){            switch (portal->strategy) {            case PORTAL_ONE_SELECT:            case PORTAL_MULTI_QUERY: // insert从这里进入                PortalRunMulti(portal, isTopLevel, dest, altdest, completionTag);
/* Prevent portal's commands from being re-executed */ MarkPortalDone(portal); /* Always complete at end of RunMulti */ result = true; break;}
复制代码


最终执行 ExecInsertT 完成数据插入。


#0  ExecInsertT (state=0x7fdbf1836060, slot=0x7fdbf0c86460, planSlot=0x7fdbf0c86460, estate=0x7fdbf0c74060, canSetTag=true,    options=0, partitionList=0x7fdbf3125860) at nodeModifyTable.cpp:800#1  0x0000000001a684cd in ExecModifyTable (node=0x7fdbf1836060) at nodeModifyTable.cpp:3043#2  0x00000000019f3f93 in ExecModifyTableWrap (node=0x7fdbf1836060) at execProcnode.cpp:785#3  0x00000000019f43b5 in ExecProcNode (node=0x7fdbf1836060) at execProcnode.cpp:1038#4  0x00000000019ed9d5 in ExecutePlan (estate=0x7fdbf0c74060, planstate=0x7fdbf1836060, operation=CMD_INSERT, sendTuples=false,    numberTuples=0, direction=ForwardScanDirection, dest=0x7fdbf13bb9c8, motJitContext=0x0) at execMain.cpp:2163#5  0x00000000019ea25a in standard_ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0)    at execMain.cpp:608#6  0x000000000181d6ef in explain_ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0)    at auto_explain.cpp:121#7  0x00000000019e9dee in ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0) at execMain.cpp:486#8  0x000000000194fed6 in ProcessQuery (plan=0x7fdbf0b7b2e0, sourceText=0x7fdbf13ba060 "insert into t1 values(1,200);", params=0x0,    isMOTTable=false, motJitContext=0x0, dest=0x7fdbf13bb9c8, completionTag=0x7fdbf3126020 "") at pquery.cpp:292#9  0x0000000001953fa1 in PortalRunMulti (portal=0x7fdbf0c7a060, isTopLevel=true, dest=0x7fdbf13bb9c8, altdest=0x7fdbf13bb9c8,    completionTag=0x7fdbf3126020 "") at pquery.cpp:1889#10 0x00000000019525e0 in PortalRun (portal=0x7fdbf0c7a060, count=9223372036854775807, isTopLevel=true, dest=0x7fdbf13bb9c8,    altdest=0x7fdbf13bb9c8, completionTag=0x7fdbf3126020 "") at pquery.cpp:1191#11 0x000000000193ac65 in exec_simple_query (query_string=0x7fdbf13ba060 "insert into t1 values(1,200);",    messageType=QUERY_MESSAGE, msg=0x7fdbf3126210) at postgres.cpp:2720
复制代码


以上分析了简单 insert 语句的两种执行流程,对于 delete,update,select 基本工作流程一致。


点击关注,第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 2
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
openGauss内核分析:SQL by pass & 经典执行器_数据库_华为云开发者联盟_InfoQ写作社区