博客

Databend Cloud 支持使用 IAM Role 访问 S3,减少长期密钥暴露风险

avatarTCeason11月 18, 2026查看 Markdown
Databend Cloud 支持使用 IAM Role 访问 S3,减少长期密钥暴露风险

服务已经停用,访问权限可能还在

一项第三方服务已经不用了,当初授予它的访问权限却可能还留着。

2026 年 11 月 9 日,Wiz 公布了一起涉及 Qubole 跨账户访问的调查。研究人员观察到,攻击者在 10 月 14 日至 26 日期间,使用与 Qubole 相关的 AWS 账户凭证,代入客户此前授权的 IAM 角色,访问了客户环境中的 S3 数据等资源。报告还提到,攻击者使用的多数角色,当时已经没有其他正常使用活动,但信任策略仍然有效。

对准备接入 S3 的团队来说,安全问题从创建连接时就开始了。长期密钥要交给谁保存,角色应该信任哪个访问主体,服务停用后由谁撤销权限,都需要随着连接一起安排好。

本文以 Databend Cloud 读取 S3 文件为例,演示如何配置 IAM Role,让 Databend Cloud 使用临时凭证访问 S3,无需配置长期 AK/SK,并将读取权限限制在指定的 S3 路径内。

从访问 S3 说起,认识 AWS IAM 的授权机制

Amazon S3 是 AWS 的对象存储服务,于 2006 年上线。文件以对象的形式保存在存储桶中,应用通过 API 上传和读取。本文要读取的 Parquet 文件,就放在一个私有 S3 存储桶里。

Databend Cloud 是面向数据分析的云原生湖仓,提供全托管服务。数据工程师可以在其中用 SQL 查询 S3 文件,也可以把文件导入表中继续分析。接入前需要解决一个问题,AWS 应当允许哪个身份读取这些私有数据。

IAM 是 AWS Identity and Access Management 的缩写,中文通常称为身份与访问管理。它负责管理访问 AWS 资源的身份和权限。例如,一个身份是否可以列出某个存储桶的文件,或者读取某个前缀下的对象,都由相关策略约束。

IAM 用户和 IAM 角色是两种不同的身份形式。IAM 用户可以创建长期访问密钥供程序使用;IAM Role 则定义一组权限,并允许符合信任条件的调用方代入角色,获取有有效期的临时凭证。本文使用 IAM Role ,把用户 AWS 账户中的指定 S3 读取权限委派给 Databend Cloud。

从长期 AK/SK 到临时凭证,接入方式怎样变化

将 S3 数据接入 Databend Cloud,一种常见做法是创建 IAM 用户,生成 Access Key ID 和 Secret Access Key,再将它们填入连接配置。Access Key ID 标识访问密钥,Secret Access Key 用于计算请求签名,两者通常简称 AK/SK。

这种方式直观、兼容性好,也能通过策略限制访问范围。不过,密钥的保存、分发、停用和轮换,都需要使用方管理。为了排查连接错误,包含密钥的 SQL 可能被复制到聊天或工单中;为了复用配置,同一对密钥也可能出现在多个任务里。轮换时,需要找出所有使用它的地方,逐一更新。

长期访问密钥不会像会话凭证一样自动到期。一旦被意外保存到代码、日志或备份中,在被发现并停用之前,就可能持续构成风险。

使用 IAM Role 时,用户在自己的 AWS 账户中定义角色,指定谁可以代入、可以读取哪些数据。Databend Cloud 通过 AWS Security Token Service(STS)的

AssumeRole
获取临时凭证,再访问 S3。角色本身无需生成一对长期密钥交给调用方,存储桶也可以继续保持私有。

AWS 在现代身份验证方式的官方说明中,建议第三方应用通过 IAM Role 使用临时安全凭证,减少静态访问密钥的使用。

这个流程仍然使用凭证。STS 返回的临时凭证包含 Access Key ID、Secret Access Key 和 Session Token,由服务在运行时获取并使用。用户无需把 IAM 用户的长期密钥配置到 Databend Cloud。

IAM Role 访问原理示意,图中表示授权流程,不代表网络部署拓扑。

减少密钥分发,也让授权更容易维护

切换到 IAM Role,首先减少的是长期密钥的分发。AWS 管理员配置权限和信任策略,数据工程师用角色的 ARN 创建连接,不必再传递一份长期 SK。ARN 是 Amazon Resource Name,即 AWS 资源名称,用来唯一标识资源。知道角色的 ARN 并不等于获得它的权限。

其次,这条链路不再需要用户定期生成新的 IAM 用户访问密钥,再到 Databend 中替换。临时凭证由服务按需获取,用户主要维护角色、信任策略和权限策略。

权限也可以按接入用途组织。例如,为 Databend Cloud 创建一个专用的只读角色,只允许读取某个存储桶的

load/
前缀。不再使用时,可以收回这个专用角色的授权,减少排查共享密钥使用方的工作。

角色权限仍需按最小权限原则配置。IAM 用户同样可以做到细粒度授权;角色的主要优势,是减少对长期密钥的依赖,并将权限与短期会话结合起来。首次配置的步骤可能比填写 AK/SK 更多,但后续可以围绕角色集中维护授权。

接下来用一份包含两条图书记录的 Parquet 文件,走完从 AWS 授权到 Databend Cloud 导入的过程。

第 1 步,准备数据和连接信息

开始配置前,需要准备以下资源:

  • 一个 Databend Cloud 组织,账号能创建 Connection、Stage 和表;

  • 一个私有 S3 存储桶,用来存放示例数据;

  • 一个能创建 IAM 策略和角色的 AWS 账号。

创建 IAM 策略和角色通常由 AWS 管理员完成。没有相应权限时,可以请管理员完成第 2 步,数据工程师再继续配置 Connection 和 Stage。

本文使用的示例位置为

us-east-2
区域的
s3://databend-toronto/load/
。换成自己的存储桶时,区域和前缀要一起改。

下载 books.parquet,上传到存储桶的 load/books.parquet。该文件包含两条图书记录,用于检查读取和导入结果。文件保持私有,无需关闭 S3 的“阻止公共访问”。

接着,在 Databend Cloud 中选择目标组织。如果组织概览页的 连接 → 连接信息 中显示 Role ARN,复制该值。

Role ARN 代表 Databend Cloud 的访问主体,也就是“谁来请求访问”,稍后填入 AWS 角色的信任策略。不要根据 DSN 拼接 ARN,也不要复制其他组织的值。如果界面没有显示 Role ARN,请联系支持团队确认组织是否支持角色访问,并获取准确的访问主体信息。

接着确认这条连接使用的 External ID(外部 ID)。优先使用 Databend Cloud 为组织提供或由支持团队确认的值。AWS 建议第三方服务为不同客户分配唯一的 External ID;不要直接复用示例值,也不要将自行生成的随机字符串视为已经完成了客户身份绑定。AWS 信任策略和 Databend Connection 必须使用同一个值。

External ID 是代入角色时携带的附加条件,用于约束这次跨账户访问代表哪个客户,帮助防范服务被诱导为其他客户访问你的资源,即混淆代理人问题。AWS 不将 External ID 当作秘密,它也不会单独授予 S3 权限。Wiz 披露的事件中,攻击者的角色请求同样携带了 External ID,因此它不能替代对受信任访问主体的保护。

Amazon SQS (S3) 数据源使用独立的配置流程,不要直接复用其平台角色或 External ID。本文也不覆盖自建 Databend 的身份配置。

第 2 步,创建只读角色

AWS 侧需要配置两种策略,两者解决不同的问题。

  • 权限策略决定角色可以访问哪些资源、执行哪些操作;

  • 信任策略决定谁可以代入这个角色。

先限制访问范围,再配置信任策略。

创建 S3 只读权限策略

进入 IAM → 策略 → 创建策略 → JSON,粘贴以下配置。将存储桶和前缀替换为自己的值。

{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "s3:GetBucketLocation",
"Resource": "arn:aws:s3:::databend-toronto"
},
{
"Effect": "Allow",
"Action": "s3:ListBucket",
"Resource": "arn:aws:s3:::databend-toronto",
"Condition": {
"StringLike": {
"s3:prefix": ["load/", "load/*"]
}
}
},
{
"Effect": "Allow",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::databend-toronto/load/*"
}
]
}

将策略保存为 databend-docs-s3-read。它只允许列出和读取 load/ 下的对象,不允许写入或删除。

AWS 截图来自独立测试环境,图中的存储桶名称与正文示例不同。请填写自己的值。

s3:ListBucket
使用存储桶 ARN,
s3:GetObject
使用带对象前缀的 ARN。仅在 Databend 中把 Stage URL 指向某个前缀,不能代替 AWS 策略中的权限限制。

创建角色与信任策略

进入 IAM → 角色 → 创建角色 → 自定义信任策略,粘贴以下配置。

{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "<databend-cloud-principal-arn>"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"sts:ExternalId": "<your-unique-external-id>"
}
}
}
]
}

将

Principal.AWS
替换为第一步获取的 Databend Cloud 访问主体的 ARN,填写准备好的 External ID。不要将
Principal
设为
*
。

截图中的访问主体已遮盖;External ID 为测试值,不应复用于生产环境。

继续创建向导,附加刚才的 databend-docs-s3-read 策略,将角色命名为 databend-docs-s3-role。创建完成后,从角色详情页复制 ARN。

到这里,手上有两个用途不同的 ARN:

  • Databend Cloud 访问主体的 ARN 填在 AWS 信任策略中,表示谁可以代入角色。

  • 刚创建的 IAM 角色的 ARN 填在下一步 Connection 的

    ROLE_ARN
    中,表示代入哪个角色。

填写前先核对用途,避免把两个 ARN 放反。

第 3 步,创建 Connection 和 Stage

打开 Databend Cloud Worksheet,或使用 BendSQL 连接,在有相应权限的环境中执行。

CREATE CONNECTION s3_books_role_conn
STORAGE_TYPE = 's3'
ROLE_ARN = 'arn:aws:iam::987***987:role/databend-docs-s3-role'
EXTERNAL_ID = '<your-unique-external-id>'
REGION = 'us-east-2';

请使用自己 IAM 角色的 ARN,确保 External ID 与 AWS 信任策略完全一致,区域与存储桶一致。仅在 Connection 中填写 EXTERNAL_ID,不会自动修改 AWS 信任策略。

Connection 保存可复用的认证参数,Stage 则指定要访问的 S3 数据位置。角色授权完成后,再把这两部分连接起来。

CREATE STAGE s3_books_role_stage
URL = 's3://databend-toronto/load/'
CONNECTION = (CONNECTION_NAME = 's3_books_role_conn');

保留 URL 末尾的 /。这两段 SQL 中,没有需要用户填写的长期 AK/SK。

第 4 步,验证访问并导入数据

先确认能列出文件。Stage 里文件可能很多,可以查询

LIST_STAGE
并限制返回一行。

SELECT name, size, last_modified
FROM LIST_STAGE(location => '@s3_books_role_stage')
LIMIT 1;

下图是在 Databend Cloud Worksheet 中执行这条查询的结果。

返回文件信息,说明这次列目录请求成功。LIST_STAGE 和 LIST 读的是同一份文件列表,前者可以用 SQL 过滤和限量。

可以直接读取示例文件。

SELECT title::VARCHAR AS title,
author::VARCHAR AS author,
date::VARCHAR AS date
FROM @s3_books_role_stage/books.parquet
LIMIT 2;

应返回两条图书记录,说明对象读取权限正常。接下来创建目标表并导入。

CREATE TABLE books_iam_demo
(
title VARCHAR,
author VARCHAR,
date VARCHAR
);

COPY INTO books_iam_demo
FROM @s3_books_role_stage
FILES = ('books.parquet')
FILE_FORMAT = (TYPE = 'PARQUET')
PURGE = FALSE;

SELECT * FROM books_iam_demo ORDER BY title;

目标表应包含两行数据。这里保留 PURGE = FALSE,不删除 S3 源文件,因此不需要授予删除权限。

至此,角色授权已经用于实际的数据读取。后续仍然通过 Stage 访问文件,通过

COPY INTO
导入表中,再使用 SQL 分析。熟悉原有导入流程的用户,只需要把前面的认证配置切换过来。

已有 AK/SK 连接,先验证新授权再逐步迁移

旧连接先留着。把 IAM Role 作为一条新链路建起来,验证通过后再改引用,最后回收旧密钥。

新建一条 IAM Role 连接

先选择一个未被旧任务使用的新连接名称,与原 AK/SK 连接并存。下面语句带有

OR REPLACE
,执行前应确认示例名称没有对应需要保留的连接。

CREATE OR REPLACE CONNECTION s3_books_role_conn
STORAGE_TYPE = 's3'
ROLE_ARN = 'arn:aws:iam::987***987:role/databend-docs-s3-role'
EXTERNAL_ID = '<your-unique-external-id>'
REGION = 'us-east-2';

切换 Stage 后重新验证访问

假设旧 Stage 叫 s3_books_stage,它现在还保存着 AK/SK 认证参数。Stage 在创建时会复制 Connection 参数,改 Connection 不会自动影响已有 Stage。可以原地把旧 Stage 切到新连接。

DESC STAGE s3_books_stage;

ALTER STAGE s3_books_stage SET
URL = 's3://databend-toronto/load/'
CONNECTION = (CONNECTION_NAME = 's3_books_role_conn');

SET URL 会替换整份存储配置,所以 URL 必须一起写,不能只写 CONNECTION。切换后再确认一次。

DESC STAGE s3_books_stage;
LIST @s3_books_stage;

URL 应保持原值。

LIST
返回文件列表,说明更新后的 Stage 可以列目录;还应重复前面的文件读取查询,确认对象读取同样正常。

ALTER STAGE 更新 URL 和连接需要 v1.2.867 及以上。版本较低,或不想动正在使用的 Stage,就新建一个,验证后再改任务引用。

CREATE STAGE s3_books_role_stage
URL = 's3://databend-toronto/load/'
CONNECTION = (CONNECTION_NAME = 's3_books_role_conn');

SELECT title, author, date
FROM @s3_books_role_stage/books.parquet
LIMIT 2;

外部表需要更新表上的连接

如果使用直接指向 S3 的外部表,需要更新表上的连接。

ALTER TABLE sales_data
CONNECTION = (CONNECTION_NAME = 's3_books_role_conn');

这条语句只应用凭证相关字段,表的 bucket、region、root 保持不变。

确认依赖迁移完成,再停用旧密钥

SHOW CONNECTIONS;

DROP CONNECTION s3_books_conn;

删除前确认没有 Stage、任务或用户还在引用旧连接。删掉 Connection 不会撤销 AWS 权限,也不会让已签发的 STS 凭证立刻失效;旧 IAM 用户密钥要在 AWS 侧停用、观察后再删除。

让访问随任务建立,也随任务结束

完成迁移后,这条连接通过角色获取临时凭证,管理员可以在 AWS 中维护明确的访问范围。

对于 Databend Cloud 用户,S3 数据仍然保持私有,查询仍然使用熟悉的 SQL;管理员在 AWS 中维护角色的访问范围,数据工程师在 Databend 中使用 Connection 和 Stage,不再需要为这条链路传递和轮换长期 SK。

临时凭证在有效期内仍然需要保护。角色仍需最小权限,信任策略必须准确。移除信任策略也不会使 STS 已签发的凭证立即失效,紧急撤销应按 AWS 的会话撤销机制处理。

如果已经通过 AK/SK 接入 S3,可以先选一个只读任务,建立 IAM Role 连接、验证数据,再按依赖逐步迁移。迁移完成后,也把这个角色记入授权清单。将来任务停用时,一并检查角色信任关系和仍然有效的会话,避免留下无人使用却仍可访问数据的授权。

文档与参考资料

分享本篇文章

订阅我们的新闻简报

及时了解功能发布、产品规划、支持服务和云服务的最新信息!