写点什么

Databend v0.9.0 版本发布

作者:Databend
  • 2023-01-18
    福建
  • 本文字数:2233 字

    阅读完需:约 7 分钟

Databend v0.9.0 版本发布

各位社区小伙伴们,历经数月开发,Databend 于 2023 年 1 月 13 日迎来了 v0.9.0  版本的正式发布!


这次新版本是 Databend 迈向 1.0 版本的最后一个大版本,也是迄今为止我们对核心代码重构幅度最大的一个版本!相较于 v0.8.0 版本,开发者们一共新增了 5000 多次 commit, 共计 700 多个优化和修复,涉及 4347 个文件变更,约 34w 行代码修改。感谢各位社区伙伴的参与,以及每一个让 Databend 变得更好的你!


在 v0.9.0 版本中,我们引入了新的类型系统,新的表达式计算框架,JSONB 支持,完整的 join 支持和优化,CBO 支持,Native Storage Format 等主要功能优化,同时性能、稳定性、易用性等方面做了大量优化增强,欢迎大家下载试用。

性能对比

在新版本中,我们在执行引擎,优化器,存储层都做了很多优化,大部分场景都有 2 倍以上提升,下面是在 hits 数据集使用 fuse 默认引擎在 s3 存储下两个版本的性能对比。


全新的类型系统

为了让 Databend 拥有一个易于理解而又功能强大的类型推导系统,我们借鉴了不少优秀编程语言的编译器内部设计,然后从中精简出适用于 SQL 使用的子集。基于目前的纯静态的类型系统,我们有了完善的类型推导机制,在 SQL 的编译期能尽可能推断出表达式的执行方式,极简的表达式函数注册逻辑,以及在数据库类型级别实现了泛型的推导


在新的类型系统基础上,常量折叠,类型推导,函数的注册,查询数据裁剪等模块都能享受到新类型系统带来的红利。


这里有一份简短的介绍:五分钟了解 Databend 全新 SQL 类型系统


由于这里太小写不下,不久之后,我们会对此做一个深入的分享,感兴趣的朋友可以关注下。

JSONB 支持

新版本中,我们实现 Rust 版本的 JSONB, 默认的 JSON 数据类型将使用 JSONB 存储,同时也兼容老的 JsonText 格式。基于二进制 JSON 格式,存储空间和查询性能都得到非常明显的优化。



参考:https://databend.rs/doc/contributing/rfcs/json-optimization

完善的 Join SQL 支持

支持完整的 Join types: inner/natural/cross/outer/semi/anti join。


在过去的数月中,针对社区和线上用户的反馈,对 hash join 进行了深度的优化,能够覆盖大多数场景的性能要求。

CBO 支持

在统计信息中,我们加入了 NDV 的统计计算逻辑,用户可以通过类似 presto 的 "Analyze" 命令来生成统计信息表。JOIN 可以利用已有的统计信息,对逻辑计划进行基于代价的优化。后续 CBO 支持完善后,我们会更新 TPCH 100G 数据下的查询性能数据对比。

Native 格式支持

Databend 支持 Git-Like 的 Fuse Engine,基于此 engine,我们可以快速回溯到某个历史时间点来查询,在数据库内部实现了 "时间旅行"。而在 Fuse engine 的内部,我们也支持了除 Parquet 之外的新的 Storage Format --- strawboat: https://github.com/sundy-li/strawboat


Strawboat 是基于 arrow 的 native storage format,基于它我们在数据读取方面可以做的比 Parquet 更高效,在 hits 数据集中,全表扫 native 格式能快 2-3 倍。在 hits 数据集中,本地部署的场景下取得非常可观的提升,后续我们会完善下性能对比到 clickbench 中。

高效的 Bloom Filter 过滤

新版本我们引入了 xor filter 来为每个列计算存储 bloom filter,新的 bloom filter 较比之前的版本,导入查询性能,占用空间能都得到了不少优化。


参考:https://databend.rs/blog/xor-filter

设计并开源 Serverless DataSharing Protocol

实现了基于 object storage presign 短期访问 token 的方式,多租户之间零信任数据共享解决方案。


在基本性能一致的情况下,使用 aws lambda,以 serverless 的方式实现数据共享。

Stage 相关

实现了 UserStage 功能,类似 linux 的 home 目录:"COPY INTO my_table FROM @~;"


Stage 的数据导入支持 meta 存储状态,这意味着我们可以一直从 stage 存入新文件来导入 databend;


支持从 Stage 中按不同格式导出多个文件;


从 Stage 导入表支持并行化;


...

其他

除了上面的主要功能外,我们还有其他的新功能或优化点:


  • duckdb 的 read_parquet, 支持无需导入,直接读取本地的 parquet 文件

  • 常用函数性能优化,常用 GEO 函数支持

  • Distinct 性能优化

  • Adaptive String HashTable

  • SQLancer 对接

  • Parquet 读取加速

  • 使用 Rust 重写了之前的 python 版本 sqllogictest

  • NDJSON and JSON output format 支持

  • ALTER TABLE 支持 recluster

  • 根据 https://db.in.tum.de/~freitag/papers/p23-freitag-cidr19.pdf,支持 hyperloglog 的更新和删除。


...

下载使用

如果你对我们新版本功能感兴趣,欢迎来 https://github.com/datafuselabs/databend/releases/tag/v0.9.0-nightly 页面查看全部的 changelog 或者 下载 release 体验。


如果你在使用旧版本的 Databend,你可以直接升级到新版本,升级过程请参考:https://databend.rs/doc/operations/upgrade

意见反馈

如果您遇到任何使用上的问题,欢迎随时通过 GitHub issue 或社区用户群中提建议


GitHub: https://github.com/datafuselabs/databend/

致谢

最后感谢参与新版本设计开发,测试,文档贡献的开发者们。



关于 Databend


Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。


  • Databend Website :https://databend.rs/

  • Weekly :https://weekly.databend.rs/

  • GitHub Discussions :https://github.com/datafuselabs/databend/discussions

  • Twitter :https://twitter.com/Datafuse_Labs

  • Slack Channel :https://link.databend.rs/join-slack

用户头像

Databend

关注

还未添加个人签名 2022-08-25 加入

还未添加个人简介

评论

发布
暂无评论
Databend v0.9.0 版本发布_Databend_InfoQ写作社区