One post tagged with "Rust"

以「启航 • AIGC 软件工程变革」为主题的 QCon 全球软件开发大会北京站于 9 月 5 日在北京富力万丽酒店圆满落幕！此次大会包含向量数据库、云原生、异构计算、面向 AI 的存储、微服务架构治理、FinOps 等近 30 个精彩专题。Databend Labs 作为深耕云原生数据库领域的科技公司受邀参与。

9月3日下午，Databend 研发工程师 - 邰翀作为「构建未来软件的编程语言」专题的演讲嘉宾参与本次分享。

主题： 「Rust：构建新时代基础设施的首选语言」

演讲嘉宾： 邰翀

嘉宾介绍： Databend 研发工程师

本次分享聚焦于数据库和 AI 领域，从跨云数据访问和向量数据库的现实需求谈起，阐述为什么 Rust 是适合于新时代基础设施的编程语言，并分析 Rust 在新时代基础设施下的新机遇。本次分享主要分为四个部分：

• Rust 新时代基础设施的最佳选择
• All in Rust 为 Databend 带来了什么
• Rust 如何成为构建 Vector Embeddings 的关键语言
• Rust 的机遇与挑战

Rust 新时代基础设施的最佳选择​

在此前，当我们谈论基础设施时，首先可能会想到服务器、Oracle 等。而近些年来，我们谈论基础设施已经离不开云和构建在云上的各种服务。

新时代基础设施是指：可以在云上自由部署、与云完美融合的基础设施。在这个新时代中，Databend 和一些数据库同行都选择了 Rust 作为首选语言。我们可以观察到 amazom、 微软、Firefox、飞书、TiKV、云数仓 Databend、OpenDAL 等公司或者项目在使用 Rust 。

Rust 的发展时间线​

• 2006 年， Graydon Hoare 着手设计和实现 Rust 语言，此时，还只是他的个人项目。
• 2009 年，Mozilla 开始赞助这个项目，并成立团队支持 Rust 的开发。
• 2010 年，Rust 首次公开，并在一年后实现了编译器自举，到 2015 年发布了第一个稳定版本。
• 2021 年，Rust 基金会成立，为 Rust 语言带来更广阔的发展前景。

Rust 与内存安全​

Rust 的创始人 Graydon Hoare 曾经说过：“Rust是一种采用过去的知识解决将来的问题的技术。”

在我的理解中，Rust 的主要目标之一就是解决内存安全问题。

下面列出一些常见的内存安全问题：

• Out-Of-Bound ： 假设有两个线程，其中一个线程在访问链表，另一个线程在进行删除，这个时候可能会产生越界问题。
• Use After Free ： 指针指向了堆上一块内存，但是这块内存因为扩容或者其他原因导致重分配，给了恶意代码修改并且执行被释放内存的机会。

通用手法​

针对内存安全问题，不同的编程语言都会提出自己的一套解决方案，目前通用的方式包括：

• 垃圾回收（Garbage Collection，GC） ：设立专门的垃圾回收机制来检测内存。由于回收机制的时间不固定，这种方式可能会导致内存不可控。对于数据库软件而言，如果在做大量数据的聚合相加，可能会导致内存飙升，并且很长时间无法释放，容易诱发 OOM 。

• 自动引用计数（Automatic Reference Counting，ARC） ：可以自动地跟踪和管理对象的引用计数，从而避免了手动管理内存的繁琐和容易出错的问题，算是一种比较好的方式。

• 手动管理内存（Manualy Handle Memory） ：开发者自行管理分配和释放，对程序开发功底要求比较高。

Rust 怎么做​

上面的三种通用手法是通过管理引用来处理内存安全问题的，而 Rust 则选择通过限制引用行为来解决内存安全问题。 更具体地，Rust 引入了所有权、借用检查和生命周期这三个重要的概念。

• 所有权（Ownership） ：每个值只能有一个所有者。

• 借用检查（Borrow Check） ：帮助管理所有权的一套规则，能够处理内存分配和释放，防止数据竞争。

• 生命周期（Lifetimes） ：程序中每个变量都有一个固定的作用域，当超出变量的作用域以后，变量就会被销毁。变量在作用域中从初始化到销毁的整个过程称之为生命周期。

Rust ：最受程序员推崇的语音​

正因为 Rust 语言表现力、卓越的性能以及自己独有一套的内存管理方式，蝉联八届 Stack Overflow Developer Survey 最受程序员推崇的语言。

All in Rust  为 Databend 带来了什么​

Databend Labs 成立于 2021 年 3 月，是一家开源 Data Cloud 服务商，致力于为大数据生态提供坚实可靠的基础设施。我们的核心团队成员来自 ClickHouse 社区、谷歌 Anthos、阿里云等国内外知名互联网和云计算公司，团队在云原生数据库领域有着丰富的工程经验，同时也是数据库开源社区活跃贡献者。

我们在用 Rust 做什么？​

Databend是一款使用 Rust 研发、开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓，具有即时扩缩容能力，能在数分钟内增加数百倍的算力，为企业提供了一个用于存储、管理和分析大量数据的集中式平台，从而助力企业更准确地洞察业务、制定战略。

除了 Databend 之外，我们也使用 Rust 开发和维护了大量项目：

• OpenRaft 是在 tokio 之上实现的异步 Raft 框架，在 leadership 上做了大量优化，性能非常强劲。

• BendSQL 是基于 Databend HTTP API 和 Arrow Flight API 设计和实现的原生客户端。

• AskBend 是一款知识库智能问答系统，基于 OpenAI 的 API 并且利用 Databend 内置的一系列 SQL 函数（AI Functions）打造。访问链接：https://ask.databend.rs 即可体验。

• OpenDAL 提供一个统一、简单、高效、可靠、可观察的数据访问层，让开发者可以无缝地使用不同的存储服务，并享受到最佳的用户体验。今年 3 月份的时候已经移交到 Apache 软件基金会孵化器中进行孵化。

Rust 给我们带来了什么？​

数据库本身就是计算机科学皇冠上的一颗明珠，是一个庞大而又复杂的系统。而在 Databend 的设计和实现中，我们还从目前市场上最优秀的数仓中借鉴了一些经验。例如，我们参考了 Clickhouse 的向量化设计，以提高单机的性能。同时，我们也借鉴了 Snowflake 的集群优点，以增强分布式计算能力。

选择 Rust 作为这样一个复杂系统开发的首选语言，我们收获了这些：

• 高效 的研发 ： 虽然 Databend 从第一版发布至今只有 2 年多，但从开源到文章撰写时为止，已经累计有 8000 多个 PR 。

• 优越 的 性能： Databend 在 Clickbench 基准测试中，数据导入性能排名第一，并且在 c6a.4xlarge 机型性能登顶，除了优秀的设计和实现之外，Rust 功不可没。

• 活跃的 社区： 得益于 Rust 语言的流行和社区的持续关注，到文章撰写时为止已有超过 200 位贡献者，收获 6.5 k star ，是 Rust 社区中的明星项目之一。

• 

Rust 如何成为构建 Vector Embeddings 的关键语言​

同样是数据库领域，现在让我们将目光转向今年在 AI 上大放异彩的向量数据库。

向量嵌入（Vector Embeddings）可以将数据转化为一个包含其实际含义的向量空间。而向量数据库则致力于挖掘存储和处理向量数据的能力，并提供高效的向量检索功能。

为什么需要向量数据库​

对于 GPT 这样的大模型而言，Tokens 大小限制了应用的进一步开发，而引入向量数据库之后，就可以利用向量检索和向量索引能力，相似度更近的数据紧凑存放。这样可以带来两个方面的好处：

• 降低 GPT 的使用成本。
• 维护长期记忆，帮助 AI 理解和执行复杂任务。

Rust 如何进入向量数据库​

让我们一起来看一下 Rust 是怎么进入到向量数据库领域的：

• 研发新的向量数据库： 获得知名投资机构 YC 的青睐的 LanceDB  使用 Rust 设计了针对向量数据库的存储格式。

• 重写现有向量数据库： Pinecone 将 C++ 和 Python 代码库使用 Rust 完全重写。在今年 5 月份获得 a16z 一亿美元 B 轮投资。

• 拓展旧有向量数据库： Milvus 则计划引入 OpenDAL（Rust 开发的存储访问层）的 C++ binding，以支持跨多云数据存储能力。

• 拓展现有其他数据库： Databend 支持向量类型的存取与基本相似度查询功能，并且提供 AI Functions ，能够与 OpenAI API 进行交互。

• 拓展旧有其他数据库： AI 初创公司 tensorchord 使用 Rust 开发 PostgreSQL 的向量处理拓展 pgvecto.rs 。

Rust 的机遇与挑战​

回顾 Databend Labs 使用 Rust 的研发历程，并且结合业界其他公司的经验，我们认为，Rust 能够成为构建新时代基础设施的首选语言的主要因素有以下几点：

• 内存安全
• 性能保障
• 敏捷开发

机遇​

Rust 在新时代中的机遇，其实可以和前面 Rust 如何进入向量数据库结合起来看，这里同样举几个典型的项目作为例子。

• 新项目服务旧场景：
• • Polars 是 Pandas 的有力竞争者，团队宣布种子轮收获 400 万美元融资，用于打造 OLAP 计算平台。
  • HuggingFace 开源新的深度学习框架 Candle ，使用 Rust 编写。

• 新项目服务新场景
• • llmchain-rs 针对大模型工具链提供一站式解决方案。
  • mosec 针对大模型部署和服务开发提供高性能解决方案。

挑战​

• 程序的可靠性仍然需要开发者自己去管理，并不能因为使用 Rust 就掉以轻心。一个有意思的段子是 “声称内存安全的项目中，往往充斥着大量的 unsafe 代码”。

• 尽管生态已经日趋完善，但在实际开发过程中，仍然少不了造轮子。而对于非系统编程，或者原型快速开发阶段，使用 Rust 在开发工具和生态对接上相比 Java 、Python 等语言还存在一些问题。

• 由于 Rust 本身的复杂性，新手仍然需要迈过门槛，而且 Rust 语言进入到项目以后在编译时间、CI 流水线等方面都需要进行不同程度的调试与改造。

目前开发者们需要尝鲜 Databend， 可以选择使用 Databend Cloud 或者按官方文档部署 Databend 服务。 由于 Databend 架构有三层，因此部署Databend 服务一般需要启动 databend-query, databend-meta , minio 三个进程，同时需要修改端口等配置项，流程上略显复杂。 有没有更快的方式可以快速尝鲜 Databend 呢？

Python Binding​

一种快速的方式是将 Databend 跑在python中，借助 rust 优良的生态，我们基于 pyo3 库发布了 python binding，可以在本地 juypter 或者 colab 等在线服务中使用 Databend：

# pip install databend
from databend import SessionContext

ctx = SessionContext()

df = ctx.sql("select number, number + 1, number::String as number_p_1 from numbers(8)")

# convert to pyarrow
df.to_py_arrow()

# convert to pandas
df.to_pandas()

Databend Local 模式​

借鉴于 clickhouse-local , duckdb 等嵌入型数据库的优点，我们在 Databend 中也可以开启 local 模式。

local 模式 是一个 Databend 的简易版本，用户无需部署 Databend 服务即可在命令中 用 SQL 和 Databend 交互。它的好处在于简化了开发安装，同时方便开发者们用 SQL 使用 Databend支持的功能进行简单的数据处理。 如果你需要在生产环境使用 Databend，我们建议按官网推荐部署 Databend 服务 或 Databend Cloud，但如果你是开发人员或测试工程师，你可以使用 local 模式 来玩转 Databend。

local 模式将启动一个临时的 databend-query 进程，这个进程融合了客户端和服务端，并且他的存储是在临时目录中，生命周期跟随进程，进程离开后资源也将销毁，你可以在一个服务器中启动多个 local 进程，他们的资源是相互隔离的。

下面通过例子介绍一下，每个例子都是简短的几行命令，介绍 local 模式可以实现什么功能。

在这之前，你需要下载 databend-query 二进制，然后将二进制放到 PATH 环境变量中，植入 bend-local 工具别名

alias bend-local="databend-query local"

• 命令行交互 ( REPL ) 模式

  • 直接在终端输入 bend-local 这一行命令后，我们将进入 REPL 模式，这里融合了客户端和服务端，类似 duckdb cli 工具使用。

  •   ❯ bend-local
      Welcome to Databend, version v1.2.4-nightly-326cabe38056168dd261f744609ea85319f02686(rust-1.72.0-nightly-2023-09-02T15:18:48.006847567Z).
    
      databend-local:) select max(a) from range(1,1000) t(a);
      ┌────────────┐
      │   max(a)   │
      │ Int64 NULL │
      ├────────────┤
      │ 999        │
      └────────────┘
      1 row result in 0.036 sec. Processed 999 rows, 999 B (27.89 thousand rows/s, 217.90 KiB/s)
    
      databend-local:)
    

  • 值得注意的是，bend-local 支持配置文件 ~/.config/databend/config.toml 来做一些个性化客户端配置，配置文件的格式和 bendsql 是兼容的。

• 一行命令生成一个 parquet 文件

  • 支持 --query, --output-format 参数 传入查询 SQL 和输出格式

  •    bend-local --query "select number, number + 1 as b from numbers(10)" --output-format parquet > /tmp/a.parquet
    

• Shell pipe 模式分析数据, \$STDIN 宏将解析 stdin 流作为一个临时 stage 表

  •   ❯ echo '3,4' | bend-local -q "select $1 a, $2 b  from $STDIN  (file_format => 'csv') " --output-format table
    
      SELECT $1 AS a, $2 AS b FROM 'fs:///dev/fd/0' (FILE_FORMAT => 'csv')
    
      ┌─────────────────┐
      │    a   │    b   │
      │ String │ String │
      ├────────┼────────┤
      │ '3'    │ '4'    │
      └─────────────────┘
    

注意上面的 SQL 在 shell 中，使用了 \$ 来对 shell 进行转义

• 读取 stage table （本地文件，外部 s3 等）

  •   ❯ bend-local --query "select count() from 'fs:///tmp/a.parquet'  (file_format => 'parquet') "
      10
    
      ❯ bend-local --query "select count() from 'https://datafuse-1253727613.cos.ap-hongkong.myqcloud.com/data/books.parquet'  (file_format => 'parquet') "
      2
    
      ❯ bend-local --query "select $1, $2 from 'http://www.geoplugin.net/csv.gp?ip=3.3.3.3'  (file_format => 'csv') "
    

• 分析系统进程 ，找出每个用户占用的内存

  •   ❯ ps aux | tail -n +2 | awk '{ printf("%s\t%s\n", $1, $4) }' | bend-local -q "select  $1 as user,  sum($2::double) as memory  from $STDIN  (file_format => 'tsv')  group by user  "
      sundy   9.100000000000001
      root    1.2
      dbus    0.0
    

• 数据清洗，将一个格式转换为其他格式 （支持csv, tsv, parquet, ndjson 等）

  •   ❯ bend-local -q 'select rand() as a, rand() as b from numbers(100)' > /tmp/a.tsv
    

        ❯ cat /tmp/a.tsv | bend-local -q "select $1 a, $2 b  from $STDIN  (file_format => 'tsv') " --output-format parquet > /tmp/a.parquet

• 其他好玩的分析例子，等待你的挖掘