博客

Databend 开源周报第 108 期

Databend Labs8月 28, 2023
Databend 开源周报第 108 期

英文版移步:https://www.databend.com/blog/2023-08-27-databend-weekly

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend。

多源数据目录

在 Databend 中,Catalog 是数据组织的最高一级抽象,可以帮助用户高效管理和访问数据源。

Databend 具备多源数据目录(Multiple Catalog)能力,目前已经支持 Apache Iceberg 和 Apache Hive 两类外部 Catalog。

通过挂载外部 Catalog,无需将数据加载到 Databend 中,就可以进行高效查询。

-- Create a Hive catalog
CREATE CATALOG hive_ctl
TYPE = HIVE
CONNECTION =(
METASTORE_ADDRESS = '127.0.0.1:9083'
URL = 's3://databend-toronto/'
AWS_KEY_ID = '<your_key_id>'
AWS_SECRET_KEY = '<your_secret_key>'
);

如果您想了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

利用
cargo-pgo
实现 PGO

Profile-guided optimization (PGO) 是一种常见的编译优化技术,可以利用程序运行时采集到的 profiling 信息来引导编译器进行针对性的优化,生成更高质量的代码,从而提高程序的性能。

根据测试,利用 PGO,Databend 在某些场景下可以取得大约 10% 的性能提高。PGO 的具体表现取决于实际的工作负载,你可以尝试应用 PGO 技术来优化 Databend 集群的性能。

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

利用 SQLsmith 实施模糊测试

SQLsmith 专注于生成随机的、类型感知和列感知的 SQL 查询,通常能够通过语义检查,从而进一步测试数据库的执行逻辑。

过去,Databend 已经支持 SQLancer 以及随机生成输入的传统模糊测试。Databend 团队计划引入 SQLsmith 来实现域感知模糊测试,提供更全面、更具针对性的测试结果,提高发现漏洞的可能。

Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击 https://link.databend.com/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/databendlabs/databend/releases

分享本篇文章

订阅我们的新闻简报

及时了解功能发布、产品规划、支持服务和云服务的最新信息!