博客

Databend 开源周报第 79 期

Databend Labs2月 6, 2023

英文版移步:https://www.databend.com/blog/2023-02-01-databend-weekly

Databend 是一款强大的云数仓。专为弹性和高效设计。自由且开源。即刻体验云服务:https://app.databend.cn

What's New

探索 Databend 本周新进展,遇到更贴近你心意的 Databend。

Features & Improvements

AST

  • 支持解析预签名内容类型 (#9771)

Format

  • 重新引入 TSV 文件格式支持 (#9732)

Functions

  • 支持数组函数 prepend 和 append (#9844)
  • 支持数组函数 concat (#9804)

Query

  • 在原生存储格式中支持 topN 运行时过滤 (#9738)
  • 允许 hashtable 状态从部分传递到最终 (#9809)

Storage

  • 在 EXPLAIN 添加 pruning 相关指标 (#9724)
  • 缓存 bloom index 对象 (#9712)

Code Refactoring 🎉

  • 'select from stage' 使用 ParquetTable (#9801)

Meta

  • 提取 "kvapi" 作为一组公共接口 (#9791)
  • 不允许移除集群中最后一个节点 (#9781)

AST/Expression/Planner

  • 统一 Span 和 Result (#9713)

Executor

  • 合并 simple pipe 和 resize pipe (#9782)

Bug Fixes 🔧

Base

  • 修复在非 linux 环境下,jemalloc 需要正确回滚到 std (#9786)

Config

  • 修复无法禁用 table_meta_cache 的问题 (#9767)

Meta

  • 将数据导入 meta-service 目录时,指定的 "id" 必须是 "initial_cluster" 之一 (#9755)

Query

  • 修复并重构 aggregator (#9748)
  • 修复 data port 的内存泄漏 (#9762)
  • 修复将 jsonb 转换到 string 时的 panic (#9813)

Storage

  • 修复 max_file_size 潜在的 oom (#9740)

What's On In Databend

请持续关注 Databend 的最新动态。

DML 命令 - UPDATE

用新值修改表中的某些行。

注意 Databend 保证数据完整性。在 Databend 中,Insert、Update 和 Delete 操作都是原子操作,这意味着操作中涉及的所有数据都必须全部成功,否则就会全部失败。

语法

UPDATE <table_name>
SET <col_name> = <value> [ , <col_name> = <value> , ... ]
[ FROM <table_name> ]
[ WHERE <condition> ]

阅读下述材料以了解更多相关讯息

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

支持 Arrow Flight SQL 协议

目前 Databend 兼容 MySQL 协议和 Clickhouse HTTP 协议,如果 Databend 支持 Arrow Flight SQL 协议可能会更好。

通常情况下,Lakehouse 使用 MySQL 协议将数据存储到 Parquet 文件中。对 Databend 而言,存在额外的反序列化开销,从 Parquet 到 Arrow,然后再到返回的 MySQL 数据类型。同样,在调用方/终端用户使用 Data Frame 或 MySQL 结果迭代器的时候,同样需要对类型进行序列化。一旦支持 Arrow Flight SQL 协议,所有这些过程中的序列化/反序列化成本都可以避免。

Issue 9832: Feature: Support Arrow Flight SQL protocol

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击 https://link.databend.com/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelogs

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/databendlabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

andylokandyariesdevilb41shBohuTANGdantengskydependabot[bot]
andylokandyariesdevilb41shBohuTANGdantengskydependabot[bot]
drmingdrmereverpcpcflaneur2020johnhaxx7leiyskymergify[bot]
drmingdrmereverpcpcflaneur2020johnhaxx7leiyskymergify[bot]
PsiACERinChanNOWWWsoyeric128sundy-liTCeasonXuanwo
PsiACERinChanNOWWWsoyeric128sundy-liTCeasonXuanwo
youngsofunyufan022zhang2014
youngsofunyufan022zhang2014

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

分享本篇文章

订阅我们的新闻简报

及时了解功能发布、产品规划、支持服务和云服务的最新信息!