Skip to main content

构建并运行 Databend

今天 Databend 合并了一个重大重构,expression 正式合并到 main 分支,为 Databend 装载了全新的静态类型系统和表达式计算框架。接下来一到两周内会进行全面测试,这个期间 nightly release 停发。如果大家对这套 New Expression 系统感兴趣,不妨参考这篇文章,亲自动手体验一下。

如何构建 Databend

Make

采用 make 构建的方式会调用预先设定好的脚本,脚本位于 scripts/build 路径下。

只开启默认特性,并且一次性构建 databend-querydatabend-metadatabend-metactl 以及 open-sharing 四个程序。

参考之前文章《如何设置 Databend 开发环境》,设置好开发环境。

  • make build 可轻松构建 debug 版本。
  • make build-release 则会构建 release 版本,并会采用 objcopy 减少二进制体积。
  • make build-native 构建针对本机 CPU 优化的版本。

Cargo

使用 cargo 构建的好处在于可以按需开启特性,并灵活控制要构建的目标二进制文件。

常用的命令格式如:

RUSTFLAGS="--cfg tokio_unstable" cargo build --bin=databend-query --features=tokio-console

即可构建启用 tokio-console 支持的 databend-query ,使用 RUSTFLAGS="--cfg tokio_unstable" 是因为 tokiotracing 特性还没有稳定下来。

Databend features 速览

这里只介绍几个比较常用的特性,具体支持的特性可以查看 Cargo.toml 中的 features 字段。

  • simd = ["common-arrow/simd"]:默认开启的特性,启用 arrow2 的 SIMD 支持(meta & query)。
  • tokio-console = ["common-tracing/console", "common-base/tracing"]:用于监控和调试异步调用程序(meta & query)。
  • memory-profiling = ["common-base/memory-profiling", "tempfile"]:用于内存分析(meta & query)。
  • hive = ["common-hive-meta-store", "thrift", "storage-hdfs"]:用于提供 hive 支持(query)。

跨平台构建

Databend 提供 Docker build-tool Image,可以简化跨平台构建所需工作。

示例选用 x86_64-unknown-linux-gnu 目标平台,其他支持平台也类似:

IMAGE='datafuselabs/build-tool:x86_64-unknown-linux-gnu' RUSTFLAGS='-C link-arg=-Wl,--compress-debug-sections=zlib-gnu' ./scripts/setup/run_build_tool.sh cargo build --target x86_64-unknown-linux-gnu

如何运行 Databend

一旦构建完成后,就可以在 target 目录下找到对应的二进制程序。对于 Databend 的运行,同样有多种可供选择的方式。

Make

Databend 同样预置了一些方便开发人员快速运行的 make 命令:

  • make run-debug:构建并运行 debug 版本。
  • make run-release:构建并运行 release 版本。
  • make run-debug-management:构建 debug 版本并以 management 模式运行。

如果你检查过位于 scripts/ci/deploy 的脚本,就会发现,这里本质上是直接执行了对应程序的二进制文件,并为其导入了位于 scripts/ci/deploy/config 目录下的相应配置。

Cargo

使用 cargo 也可以运行 Databend,通常我们会推荐采用指定配置文件的方式来启动。

cargo run --bin databend-query -c scripts/ci/deploy/config/databend-query-embedded-meta.toml

执行上述命令可以以 embedded meta 的模式启用 databend-query 的单节点模式。如果不指定在 embedded meta 模式下运行,就必须提供 your-meta-service-endpoints

另外,如果有需要的话也可以参考 scripts/ci/deploy/config 中的文件编写自己的配置。

集群模式

Databend 总是推荐用户在生产环境中使用集群模式,为了方便模拟这一情况,也可以执行:

BUILD_PROFILE=release ./scripts/ci/deploy/databend-query-cluster-3-nodes.sh

来启动一个具有 3 个 databend-meta 节点和 3 个 databend-query 节点的集群,通过指定 BUILD_PROFILE 可以在 release 和 debug 版本间切换。