写点什么

Databend 开源周报第 110 期

作者:Databend
  • 2023-09-12
    福建
  • 本文字数:2180 字

    阅读完需:约 7 分钟

Databend 开源周报第 110 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

使用 BendSQL 管理 Stage 中的文件

Databend 推荐使用 PRESIGN 来将文件上传到 stage 中或者将文件下载到本地。PRESIGN 会生成一个带有时间限制的预签名 URL ,提供了一种安全高效的数据传输方式,并且减少文件传输的延迟。



对于 BendSQL 客户端的用户而言,可以利用 PUT 命令将文件上传到 Stage 并使用 GET 命令下载 Stage 中的文件。


root@localhost:8000/default> PUT fs:///books.parquet @~
PUT fs:///books.parquet @~
┌───────────────────────────────────────────────┐│ file │ status ││ String │ String │├─────────────────────────────────────┼─────────┤│ /books.parquet │ SUCCESS │└───────────────────────────────────────────────┘
GET @~/ fs:///fromStage/
┌─────────────────────────────────────────────────────────┐│ file │ status ││ String │ String │├───────────────────────────────────────────────┼─────────┤│ /fromStage/books.parquet │ SUCCESS │└─────────────────────────────────────────────────────────┘
复制代码


如果您想了解更多信息,请查看下面列出的资源。


Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

在 Jupyter Notebook 中使用 Databend Python Binding

Databend 提供 Python Binding ,无需部署 Databend 实例即可使用,DataFrame 也可以自由转换到 Polars 和 Pandas 格式,方便和数据科学工具集成使用。


只需要执行下面的命令安装即可:


pip install databend
复制代码


下面的程序展示了如何在 Jupyter Notebook 中使用 Databend Python Binding ,并利用 matplotlib 绘制条形图。


# Create a table in DataBendctx.sql("CREATE TABLE IF NOT EXISTS user (created_at Date, count Int32)")
# Create a table in DataBendctx.sql("CREATE TABLE IF NOT EXISTS user (created_at Date, count Int32)")
# Insert multiple rows of data into the tablectx.sql("INSERT INTO user VALUES ('2022-04-01', 5), ('2022-04-01', 3), ('2022-04-03', 4), ('2022-04-03', 1), ('2022-04-04', 10)")
# Execute a queryresult = ctx.sql("SELECT created_at as date, count(*) as count FROM user GROUP BY created_at")
# Display the query resultresult.show()
# Import libraries for data visualizationimport matplotlib.pyplot as plt
# Convert the query result to a Pandas DataFramedf = result.to_pandas()
# Create a bar chart to visualize the datadf.plot.bar(x='date', y='count')plt.show()
复制代码



如果您想了解更多信息,请查看下面列出的资源。


Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。


What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

支持使用 JavaScript 创建 UDF

PR #12729 | feat: implement udf server in databend 预计会在本周进行合并。这意味着 Databend 即将支持使用 Python 创建用户自定义函数。


CREATE FUNCTION [IF NOT EXISTS] <udf_name> (<arg_type>, ...) RETURNS <return_type> LANGUAGE <language> HANDLER=<handler> ADDRESS=<udf_server_address>
复制代码


我们期望在这个 PR 的基础上提供对多种语言 UDF 的支持,JavaScript 可能是值得尝试的选项之一。


Issue #12746 | Feature: support javascript udf


如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。


地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。



Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。


发布于: 刚刚阅读数: 4
用户头像

Databend

关注

还未添加个人签名 2022-08-25 加入

还未添加个人简介

评论

发布
暂无评论
Databend 开源周报第 110 期_Databend_InfoQ写作社区