Agent Trace 解决方案

Agent Trace 数据管道记录 AI Agent 的完整执行历史，并将其转化为可查询、可复用的数据。这些数据包括模型输入与输出、工具调用、检索步骤、状态变化、Token 用量、中间结果、错误和最终结果。与基础日志管道不同，它需要支持长时间运行和分支执行、持续变化的 JSON 结构、增量转换，以及评估、回放、归因和训练等下游工作流。Databend Cloud 在统一的 S3 数据底座上提供所需的存储、处理、调度与分析能力。

自托管 Langfuse 需要团队运维 PostgreSQL、ClickHouse、Redis 或 Valkey、对象存储和应用容器。在高数据量和高并发场景下，扩展和维护这些组件可能增加运维复杂度与基础设施成本。Langfuse Cloud 消除了这部分运维负担，但数据访问与保留策略因套餐而异，额外用量按单位计费。

Databend Cloud 为大规模 Agent Trace 数据提供统一的托管管道。它在客户可控的湖仓中以原生 VARIANT 存储异构数据，团队可自主控制保留期限，并使用 SQL 定义 JSON 提取与分析模型。它面向 TB 级负载构建，需要运维的基础设施更少。

可以。Databend Cloud 使用原生 VARIANT 数据类型存储原始 JSON，包括嵌套对象和数组。团队无需在摄取前定义所有可能出现的字段，可以保留原始数据，用 SQL 提取高频查询字段，并随 Agent、模型、工具和 Trace 格式的变化更新转换逻辑。这将可靠的数据摄取与下游建模分离，避免每次上游 JSON 变化都立即触发管道迁移。

Stream 跟踪原始 Trace 表中尚未消费的变更，Task 按计划或在有新行可用时执行 SQL。二者配合，仅处理新到达的数据，即可提取 JSON 字段、统一事件名称、补充 Span 信息、更新明细表并生成聚合，避免反复扫描和转换全部历史数据。原始记录仍然保留，可在分析需求变化时用于审计、回放和重处理。

核心 Trace 转换管道不需要。Databend Cloud 可以接入 Kafka 或对象存储等现有摄取层，在一个托管服务中完成原始数据保留、增量 SQL 转换、任务调度、分析建模与查询。团队仍可按架构需求保留外部系统，但不必在原始 Trace 摄取与分析数据产出之间的每个阶段都部署独立引擎。