StarRocks Hacker Meetup 小记 Part 2|实时更新场
StarRocks Hacker Meetup 是 StarRocks 社区组织的面向开发者的线下活动,旨在通过面对面的交流帮助开发者深入了解 StarRocks 核心功能的实现原理,和开发者共同探讨数据库领域的前沿技术。
第一季 Hacker Meetup 共 4 期,将持续 2 个月,每两周探讨一个 StarRocks 的核心功能。欢迎大家持续关注。第三期 Hacker Meetup 将在 12 月 4 日与大家见面!
上周六,StarRocks Hacker Meetup 实时更新专场如期而至,除了各位老朋友外,现场又增加了很多新面孔。大家对于技术的热情超乎想象,在分享结束后仍未离去,又进行了深入地探讨,迸发出了更多关于实时更新的设计思路。
干货回顾
在本场 Meetup,常冰琳同学将实时更新引擎的技术细节娓娓道来,让我们来简单回顾一下吧:
Why update is important?
传统 OLAP 系统在面对实时更新需求上往往显得力不从心,背后的原因是什么?为何实时更新对于 OLAP 系统来说尤为关键?冰琳从 TP 与 AP 系统特征出发,详细的将几种更新的实现方式做了透彻的分析和对比。
StarRocks update internals
StarRocks 的实时更新是如何实现的?冰琳从 StarRocks 系统架构入手,用一个个生动翔实的例子,一点点为我们揭开了实时更新的面纱,让大家清晰地了解到 StarRocks 在实时更新上的设计优势。
Future works
实时更新开启了「万里长征」的第一步,在计算、存储、并发控制等方面还有很多能力等待完善,冰琳也向在座的开发者分享了他的思考及后续的工作,希望社区的朋友们能积极贡献智慧和力量,让我们一起打造更加强大的 StarRocks!
StarRocks 欢迎大家来,更欢迎大家常来!鞠躬!
下期预告
目前市面上常见 OLAP 系统的执行引擎,不管是基于 Pull 模型还是 Push 模型,在多核并行加速提升计算性能方面做出了一定的探索。StarRocks 从生产环境出发,考虑到高并发简单查询场景,混合 Workload 的查询场景,简化并行度设置和后续执行引擎的持续优化提速等主要需求,开发了新的 Pipeline 执行引擎;采用了 Push 模型、协作式任务调度、算子并行化和 IO 异步化的等技术,在查询性能上有非常显著的提升。
StarRocks 在 Pipeline 执行引擎上做了那些探索呢?12 月 04 日,StarRocks 的核心开发冉攀峰会分享 StarRocks 在构建 Pipeline 执行引擎时的思考和实践,包括:
Pipeline 执行引擎解决了现存执行引擎的哪些问题?
Pipeline 执行引擎用到了那些技术?
Pipeline 执行引擎的技术原理
Pipeline 执行引擎开发过程中,主要踩过哪些技术的坑?
Pipeline 执行引擎的思考总结和展望
快来扫描海报二维码,报名一探究竟吧!
时间:2021 年 12 月 4 日 14:00-17:00
地点:拓荒族 三层(中关村创业大街 10 号楼)
演讲嘉宾:冉攀峰(StarRocks 核心研发,知乎 @satanson)
*受疫情影响的原因,本次 Meetup 入场券有限,先到先得。社区将会审核您的报名信息,StarRocks 项目的 Contributor 拥有优先通过权,请以报名成功的短信通知为准。
这个冬天,让 StarRocks 陪你尽数领略技术之美!
评论