DuckLake
接入 DuckLake 湖仓。DuckLake 将表元数据存于 SQL catalog、将表数据以文件形式存于存储;Datyo 读取两者并将表 挂载进查询引擎,可与其他连接器的数据集联接。
DuckLake 的寻址方式
一个 DuckLake 连接由两部分组成:
- Catalog——存放湖仓元数据的 SQL 数据库,可以是 DuckDB 文件、SQLite 文件,或 PostgreSQL / MySQL 数据库。
- 数据路径——表数据文件(Parquet)所在位置:对象存储位置或本地路径。
准备工作
- 对 catalog 的访问:Datyo 可达的 catalog 文件(DuckDB/SQLite),或 PostgreSQL / MySQL catalog 数据库的连接信息。
- 若数据路径在对象存储上,需其读凭据(参见对象存储访问凭据)。
连接配置
| 字段 | 必填 | 说明 |
|---|---|---|
| Catalog 元数据存储类型 | 是 | DuckDB 文件、SQLite 文件、PostgreSQL 或 MySQL。 |
| Catalog 文件路径 | 文件型 catalog | DuckDB 或 SQLite catalog 文件的路径/位置。 |
| Catalog DSN | PostgreSQL / MySQL | catalog 数据库的连接信息。加密存储。 |
| 存储位置 | 是 | 对象存储,或在环境允许时的本地路径。 |
| 数据路径 | 是 | 数据文件所在位置,如 s3://bucket/data/。 |
对于对象存储数据路径,还需提供对象存储访问凭据。
TIP
在托管版中,请使用位于对象存储的数据路径。本地数据路径或本地 catalog 文件在桌面版与自托管部署中可用——参见 托管版与自托管。
测试与保存
填写字段并点击测试连接。Datyo 会打开 catalog,再从数据路径读取其所描述的表。成功后选择要导入的表。
能力与限制
- 执行模型: 联邦。DuckLake 表可与其他连接器的数据集联接。
- 访问: 只读。
- Catalog 后端: DuckDB 文件、SQLite 文件、PostgreSQL、MySQL。
常见排错
- 无法打开 catalog——核对 catalog 文件位置,或 PostgreSQL/MySQL 连接信息。
- 能列出表但读不到数据——catalog 已打开,但数据路径凭据缺失或无访问权限;检查对象存储密钥。
- catalog 类型错误——元数据存储类型的选择必须与湖仓的创建方式一致。
相关
- 连接器总览 · Iceberg · Delta Lake · DuckDB