---
title: 'Databend 产品月报（2025 年 7 月）：JSON 查询性能飞跃，Virtual Columns 技术全面升级'
date: 2025-08-06
slug: category-product/monthly-july2025
cover_url: 'monthly-july2025.png'
description: '七月，我们专注于优化一个核心目标：JSON 查询性能。最令人兴奋的是，我们对 Virtual Columns 功能进行了全面升级，效果显著——JSON 查询速度提升 3 倍，同时数据扫描量减少 26 倍...'
tags: [databend, monthly]
category: Product
authors:
  - DatabendLabs
---

亲爱的 Databend 用户朋友们，大家好！🚀

这个七月，我们专注于优化一个核心目标：**JSON 查询性能**。最令人兴奋的是，我们对 Virtual Columns 功能进行了全面升级，效果显著——**JSON 查询速度提升 3 倍**，同时**数据扫描量减少 26 倍**！

{/* truncate */}

## 本月成果速览

- 新增 **25 +** 实用功能
- 修复 **25 +** 影响体验的 bug
- 完成 **20 +** 项性能优化
- 其他改进 **35 +** 项

不过，最让人兴奋的，还是 JSON 性能的突破性提升。

## 重点功能一览

### 💎 核心升级

✓ **Virtual Columns 性能飞跃**：JSON 查询速度提升 3 倍，数据扫描量减少 26 倍  
✓ **增强的 RBAC 权限管理**：支持 connection 和 sequence 对象  
✓ **Shuffle 排序优化**：大幅提高大规模有序数据集的性能  
✓ **流式处理改进**：Virtual Columns 支持流式数据  
✓ **工作负载管理**：新增基于内存百分比的资源配额

### 🛠 开发更顺手

✨ **40+ JSON 函数**：全面覆盖 JSON 操作需求  
✨ **多语法支持**：兼容 Snowflake 和 PostgreSQL 语法  
✨ **增强的 UDF**：新增 IMMUTABLE 支持，性能更优  
✨ **调试工具升级**：metactl 工具更强大

### ⚡ 性能再突破

• 元服务优化：毫秒级精度，架构更优  
• 查询优化：包括 grouping sets 重写等改进  
• 内存管理：基于百分比的配额机制

### 🐛 稳定性提升

- 修复 **25 +** 个 bug：涵盖 JSON 处理、decimal 运算、查询执行等
- 改进错误处理：覆盖边缘情况和并发操作
- 提升事务可靠性：临时表和审计日志更稳定

## 深度解析：Virtual Columns 技术

### 🚀 **Virtual Columns：自动化的 JSON 索引**

我们对现有的 Virtual Columns 功能进行了全面优化，专为 JSON 工作负载量身打造。你可以把它看作是**自动化的 JSON 索引**——无需任何手动干预。

Virtual Columns 能够自动分析 JSON 数据结构，发现常用访问路径，并为这些路径生成独立的列索引。具体来说，当加载 JSON 数据时，系统会自动执行以下操作：

1. **分析 JSON 文档的访问模式**
2. **为常用路径创建优化索引**
3. **将查询路由到这些快速索引**，而不是每次都通过 jsonb 函数查询

**示例 JSON：**

```json
{
  "customer_id": 123,
  "order": {
    "items": [{ "name": "Shoes", "price": 59.99 }]
  },
  "user": { "name": "Alice", "email": "alice@example.com" }
}
```

**自动创建的索引：**

- `customer_id` → 整数索引
- `order.items[0].price` → 数值索引
- `user.name` → 字符串索引

**无需配置，无需维护，直接享受更快的查询速度。**

### 📊 **真实数据对比**

以下是我们的测试结果：

**优化前（传统 JSON 解析）：**

```sql
SELECT data['account_balance'], data['address']['city']
FROM user_logs;
-- 耗时 3.76 秒，处理 11.90 GB 数据
```

**优化后（自动 Virtual Columns 索引）：**

```sql
-- 完全相同的查询
SELECT data['account_balance'], data['address']['city']
FROM user_logs;
-- 耗时 1.32 秒，处理 461 MB 数据
```

**查询速度提升 3 倍，数据扫描量减少 26 倍**，无需修改任何代码！

### 🔧 **兼容多种 JSON 语法**

我们支持你已经熟悉的多种 JSON 查询语法：

**Snowflake 风格：**

```sql
SELECT data['user']['name'] FROM customers;       -- 方括号
SELECT data:user:name FROM customers;             -- 冒号
SELECT data['user'].profile.name FROM customers;  -- 混合语法
```

**PostgreSQL 风格：**

```sql
SELECT data->'user'->'name' FROM customers;       -- 箭头
```

无论使用哪种语法，都能享受自动索引带来的性能提升。

## 未来展望：统一架构，持续进化

七月的 JSON 优化只是我们更大蓝图的一部分。我们正在构建一个统一的架构，以驾驭所有类型的数据：

### **多模态数据处理能力**

- ✅ **结构化数据**：世界一流的列式存储性能（已完成）
- ✅ **半结构化数据**：自动 Virtual Columns 索引（七月里程碑）
- 🚀 **非结构化数据**：向量计算和存储，与谓词下推（八月预览）

### 🔮 **八月预览：非结构化数据存储与计算**

如果说七月是关于半结构化 JSON 的自动索引，那么八月将聚焦于**非结构化数据**。我们将推出全面的向量存储、计算和查询加速能力：

**八月亮点：**

- **向量化存储**：原生 vector 数据类型，优化的列式存储
- **HNSW 索引**：加速相似性搜索，毫秒级查询响应
- **跨模态 SQL 联结**：在单个查询中处理结构化、半结构化和非结构化数据

**想象一下这样的查询：**

```sql
-- 使用矢量嵌入查找相似产品
-- 同时分析其销售业绩（结构化数据）
-- 并提取 JSON 评论中的情感分析结果
-- 所有操作都在一个 SQL 查询中完成

SELECT p.product_name,
       sales.total_revenue,
       reviews.data['sentiment']['score'] as sentiment,
       COSINE_SIMILARITY(p.embedding, :search_vector) as similarity
FROM products p
JOIN sales_data sales ON p.id = sales.product_id  -- 结构化数据
JOIN product_reviews reviews ON p.id = reviews.product_id  -- 半结构化 JSON
WHERE COSINE_SIMILARITY(p.embedding, :search_vector) > 0.8  -- 非结构化
  AND reviews.data['sentiment']['score'] > 0.7
ORDER BY similarity DESC, total_revenue DESC;
```

**为 AI 时代构建真正统一的数据平台** —— 结构化分析、JSON 查询和非结构化数据搜索无缝协作。无需数据迁移，无需多个系统，只需一个 SQL 查询即可处理所有数据类型。

开源地址：[https://github.com/databendlabs/databend](https://github.com/databendlabs/databend)。

感谢一路相伴！我们下期再见~ ✨

---

Databend 团队
