ByConity BSP 解锁数据仓库新未来
前言
在现代数据分析场景中，实时数仓与离线数仓各有侧重：实时数仓注重低延迟的数据入库与即时分析能力，而离线数仓则强调复杂任务的稳定执行及高效的内存管理。为满足用户多样化的数据需求，ByConity 作为一款开源云原生数据仓库，提供了全新的 BSP 模式，大幅提升了数据仓库的适用场景与性能表现。
BSP 模式简介
BSP 模式（Bulk Synchronous Parallel）为 ByConity 带来了以下关键能力：
Task 级容错：在数据处理过程中实现更高效的错误恢复机制，确保任务的稳定性。
更细粒度的调度：以任务为单位进行资源调度，优化计算资源的使用效率。
资源感知调度：根据当前资源情况动态调整任务分配，提升并行执行的效率。
通过 BSP 模式，ByConity 实现了一站式的数据接入、加工和分析流程，为用户提供了更加便捷、高效的数据分析工具。
基于 TPC-DS 的 ELT 活动
为了让用户直观感受 BSP 模式的强大性能，ByConity 提供了基于 TPC-DS 1TB 数据集 的测试活动。以下是完整的测试过程分享。
测试环境
测试环境基于火山引擎 ECS，采用以下配置：
登录 ECS
根据活动提供的登录凭据，通过 SSH 连接到远程 ECS 服务器。以下为登录过程：
MacOS 用户：
打开终端，输入以下命令并回车：
输入
yes确认连接，并输入提供的登录密码。避免断连：创建 tmux 会话：
启动客户端：
数据查询配置
切换至测试数据库：
设置 SQL 方言：
执行 02.sql
执行 TPC-DS 测试集查询， source 02.sql; 如下：
sql 解释：
这段 SQL 语句实现了对比两个年份（2001 年和 2002 年）的每周日到周六的销售数据的相对变化。以下是对其结构和逻辑的详细解析：
1. 第一步：创建 wscs 临时表
功能：
将
web_sales和catalog_sales两个表的数据合并到一个统一的临时表wscs中。提取销售日期键 (
sold_date_sk) 和销售价格 (sales_price) 两列。
逻辑：
web_sales表：提取
ws_sold_date_sk（销售日期）和ws_ext_sales_price（销售额）。catalog_sales表：提取
cs_sold_date_sk（销售日期）和cs_ext_sales_price（销售额）。union all：不去重地合并两表的记录。
2. 第二步：创建 wswscs 临时表
功能：
按照每周的编号（
d_week_seq）计算每周每天（周日到周六）的总销售额。
逻辑：
关联
wscs和date_dim表：利用
d_date_sk = sold_date_sk，将销售日期与日期维表匹配。按周聚合：
利用
d_week_seq对每周数据分组。case when语句：对每天的销售额分别求和，忽略不属于该天的数据。
结果：
wswscs 包含每周每天的销售额字段，例如 sun_sales、mon_sales 等。
3. 第三步：对比 2001 年和 2002 年的数据
子查询 1：提取 2001 年数据
提取 2001 年的每周每天销售额，并标记为
*_sales1。d_week_seq1表示 2001 年的周编号。
子查询 2：提取 2002 年数据
提取 2002 年的每周每天销售额，并标记为
*_sales2。d_week_seq2表示 2002 年的周编号。
主查询：对比相邻年份的销售额
功能：
对比 2001 年每周与对应的 2002 年同一周（相差 53 周）的销售额。
逻辑：
字段匹配：
根据
d_week_seq1 = d_week_seq2 - 53确保对比的是相邻年份的同一周。字段计算：
利用
round(sun_sales1 / sun_sales2, 2)等公式计算每周日到周六的销售额变化比率。排序：
按周编号（
d_week_seq1）从小到大排序。
最终输出：
表格展示 2001 年相较于 2002 年的每周每天销售额变化百分比。
执行后截图如下：
测试结果与心得
通过执行 TPC-DS 的模拟查询，实际验证了 ByConity 在 ELT 任务中的强大表现：
性能提升：BSP 模式在任务分解与调度上表现优异，查询任务耗时显著减少。
任务稳定性：在高并发与复杂场景下依旧保持出色的容错能力。
一站式体验：用户无需额外切换工具即可完成数据加工与分析，全流程高效流畅。
总结
ByConity 的 BSP 模式为实时数仓和离线数仓之间架起了一座桥梁，其灵活性与高效性让企业能够更好地应对多变的数据分析需求。本次测试验证了其在 ELT 场景中的实际效果，也展示了 ByConity 在未来数据仓库领域的潜力与前景。
如果您也想体验 ByConity 的强大功能，欢迎参与测试活动，亲自感受开源数据仓库的无限可能！
版权声明: 本文为 InfoQ 作者【Swift社区】的原创文章。
原文链接:【http://xie.infoq.cn/article/20bdb0a4e73cfacc344dd3f6e】。文章转载请联系作者。
我们希望更多的人学习和使用Swift 2020-12-29 加入
展菲，公众号 “Swift社区” 负责人，8人创作团队 9 年移动端项目研发经验，目前在上市外企从事 IT 项目管理和研发工作。全网粉丝10万+，总访问量已达数百万 《ESP32-C3 物联网工程开发实战》作者 鸿蒙讲师 技术 KOL
评论