写点什么

直播预告:PostgreSQL 技术内幕 (五)Interconnect 模块

作者:HashData
  • 2023-01-03
    北京
  • 本文字数:810 字

    阅读完需:约 3 分钟

直播预告:PostgreSQL 技术内幕(五)Interconnect模块

本次直播将继续我们的 PostgreSQL 技术内幕系列,由 Oracle 跟朋友们讨论交流 Interconnect 模块的话题。


Interconnect 是在不同 Segment 间数据移动的传输组件。gpdb 有一种特有的执行算子 motion,motion 算子涉及查询处理期间在 Segment 之间移动数据,通过 Interconnect 进行数据重分布。

gpdb 架构中有一些重要的概念,包括查询调度器和查询执行器等。

-QD(Query Dispatcher、查询调度器):是指 Master 节点上负责处理用户查询请求的进程(PostgreSQL 中称之为 Backend 进程)

-QE(Query Executor、查询执行器):是指 Segment 上负责执行 QD 分发来的查询任务的进程。

QD 和 QE 之间有两种类型的网络连接:

-Libpq:QD 通过 libpq 与各个 QE 间传输控制信息,包括发送查询计划、收集错误信息、处理取消操作等。libpq 是 PostgreSQL 的标准协议,gpdb 对该协议进行了增强,譬如新增了 ‘M’ 消息类型 (QD 使用该消息发送查询计划给 QE)。libpq 是基于 TCP 的

-Interconnect:QD 和 QE、QE 和 QE 之间的表元组数据传输通过 Interconnect 实现。Greenplum 有两种 Interconnect 实现方式,一种基于 TCP,一种基于 UDP。缺省方式为 UDP interconnect 连接方式。

Interconnect 是 Greenplum 实现数据洗牌(Data Shuffling)的实现方法,它为 QEs 提供高速并行的数据传输服务,不需要磁盘 IO 操作,是高性能查询执行的重要技术之一。

本周四直播间,我们将邀请 HashData 内核工程师 Oracle 为大家解读 Interconnect 组件,欢迎感兴趣的朋友们与我们相约直播间,一起学习成长!


主题:PostgreSQL 技术内幕(五)Interconnect 模块

时间:1 月 5 号(本周四)



公司简介:HashData 是中国领先具备自主可控研发能力的数据仓库软件厂商,核心团队主要由来自 Pivotal、Teradata、IBM、Yahoo!、Oracle 和华为等公司资深的云计算、分布式数据库和大数据专家组成。凭借深厚的技术积累以及极具前瞻性的产品理念,HashData 数据仓库已广泛应用于金融、电信运营商、交通物流和互联网等多个行业头部客户。

用户头像

HashData

关注

还未添加个人签名 2021-03-10 加入

云原生企业级数据仓库

评论

发布
暂无评论
直播预告:PostgreSQL 技术内幕(五)Interconnect模块_postgresql_HashData_InfoQ写作社区