Skip to content

Apache Iceberg

通过 catalog 接入 Apache Iceberg 表。Iceberg 表被挂载进查询引擎,可与其他连接器的数据集联接。

Iceberg 的寻址方式

一个 Iceberg 连接由三个不同部分组成,理清它们是正确配置的关键:

  1. Catalog——追踪表、schema 与快照的元数据服务。Datyo 对接 REST catalog(Tabular、Polaris、Lakekeeper、 Nessie)。
  2. Warehouse——在 catalog 中注册的标识符,不是文件路径。catalog 会将其解析为实际存储位置。(典型取值如 prod-warehouse。)
  3. 存储——表数据文件实际所在的对象存储。存储位置由 catalog 返回;Datyo 使用你提供的存储凭据读取这些文件。

Catalog URI 是元数据服务地址;Warehouse 是该 catalog 内某个仓库的名称;存储凭据是读取其所指数据文件的 钥匙。这是三件不同的事,而非同一位置的三种写法。

准备工作

  • REST catalog 服务的地址与令牌
  • 支撑该 warehouse 的对象存储的读凭据(参见对象存储访问凭据)。

连接配置

字段必填说明
Catalog 类型REST(Tabular / Polaris / Lakekeeper / Nessie)。
Catalog URIREST catalog 服务地址,如 https://catalog.example.com
Warehouse在 catalog 中注册的仓库标识符——不是路径,如 prod-warehouse
Tokencatalog 需要认证时的 Bearer 令牌。加密存储。

随后提供存放数据文件的存储的对象存储访问凭据

测试与保存

填写字段并点击测试连接。Datyo 会连接 REST catalog,再经存储凭据读取表元数据与样本数据。成功后选择要导入的表。

能力与限制

  • 执行模型: 联邦。Iceberg 表可与其他连接器的数据集联接。
  • 访问: 只读。
  • Catalog 支持: 目前支持 REST catalog。AWS GlueS3 Tables catalog 在控制台中标注为规划中,尚不可用。

常见排错

  • 无法连接 catalog——核对 Catalog URI 及 catalog 服务对 Datyo 是否可达;若 catalog 需要认证,请提供 Token
  • 能列出表但读不到数据——catalog 已解析,但存储凭据缺失或对数据文件无读权限;检查对象存储密钥与区域。
  • 「找不到 warehouse」——Warehouse 必须是 catalog 中注册的标识符,而非存储桶路径。

相关

Datyo · Agent 原生的智能数据分析底座