Apache Iceberg
通过 catalog 接入 Apache Iceberg 表。Iceberg 表被挂载进查询引擎,可与其他连接器的数据集联接。
Iceberg 的寻址方式
一个 Iceberg 连接由三个不同部分组成,理清它们是正确配置的关键:
- Catalog——追踪表、schema 与快照的元数据服务。Datyo 对接 REST catalog(Tabular、Polaris、Lakekeeper、 Nessie)。
- Warehouse——在 catalog 中注册的标识符,不是文件路径。catalog 会将其解析为实际存储位置。(典型取值如
prod-warehouse。) - 存储——表数据文件实际所在的对象存储。存储位置由 catalog 返回;Datyo 使用你提供的存储凭据读取这些文件。
Catalog URI 是元数据服务地址;Warehouse 是该 catalog 内某个仓库的名称;存储凭据是读取其所指数据文件的 钥匙。这是三件不同的事,而非同一位置的三种写法。
准备工作
- REST catalog 服务的地址与令牌。
- 支撑该 warehouse 的对象存储的读凭据(参见对象存储访问凭据)。
连接配置
| 字段 | 必填 | 说明 |
|---|---|---|
| Catalog 类型 | 是 | REST(Tabular / Polaris / Lakekeeper / Nessie)。 |
| Catalog URI | 是 | REST catalog 服务地址,如 https://catalog.example.com。 |
| Warehouse | 是 | 在 catalog 中注册的仓库标识符——不是路径,如 prod-warehouse。 |
| Token | — | catalog 需要认证时的 Bearer 令牌。加密存储。 |
随后提供存放数据文件的存储的对象存储访问凭据。
测试与保存
填写字段并点击测试连接。Datyo 会连接 REST catalog,再经存储凭据读取表元数据与样本数据。成功后选择要导入的表。
能力与限制
- 执行模型: 联邦。Iceberg 表可与其他连接器的数据集联接。
- 访问: 只读。
- Catalog 支持: 目前支持 REST catalog。AWS Glue 与 S3 Tables catalog 在控制台中标注为规划中,尚不可用。
常见排错
- 无法连接 catalog——核对 Catalog URI 及 catalog 服务对 Datyo 是否可达;若 catalog 需要认证,请提供 Token。
- 能列出表但读不到数据——catalog 已解析,但存储凭据缺失或对数据文件无读权限;检查对象存储密钥与区域。
- 「找不到 warehouse」——Warehouse 必须是 catalog 中注册的标识符,而非存储桶路径。
相关
- 连接器总览 · Delta Lake · DuckLake · S3