Skip to content

DuckLake

接入 DuckLake 湖仓。DuckLake 将表元数据存于 SQL catalog、将表数据以文件形式存于存储;Datyo 读取两者并将表 挂载进查询引擎,可与其他连接器的数据集联接。

DuckLake 的寻址方式

一个 DuckLake 连接由两部分组成:

  1. Catalog——存放湖仓元数据的 SQL 数据库,可以是 DuckDB 文件SQLite 文件,或 PostgreSQL / MySQL 数据库。
  2. 数据路径——表数据文件(Parquet)所在位置:对象存储位置本地路径

准备工作

  • catalog 的访问:Datyo 可达的 catalog 文件(DuckDB/SQLite),或 PostgreSQL / MySQL catalog 数据库的连接信息。
  • 数据路径在对象存储上,需其读凭据(参见对象存储访问凭据)。

连接配置

字段必填说明
Catalog 元数据存储类型DuckDB 文件SQLite 文件PostgreSQLMySQL
Catalog 文件路径文件型 catalogDuckDB 或 SQLite catalog 文件的路径/位置。
Catalog DSNPostgreSQL / MySQLcatalog 数据库的连接信息。加密存储。
存储位置对象存储,或在环境允许时的本地路径。
数据路径数据文件所在位置,如 s3://bucket/data/

对于对象存储数据路径,还需提供对象存储访问凭据

TIP

在托管版中,请使用位于对象存储的数据路径。本地数据路径或本地 catalog 文件在桌面版与自托管部署中可用——参见 托管版与自托管

测试与保存

填写字段并点击测试连接。Datyo 会打开 catalog,再从数据路径读取其所描述的表。成功后选择要导入的表。

能力与限制

  • 执行模型: 联邦。DuckLake 表可与其他连接器的数据集联接。
  • 访问: 只读。
  • Catalog 后端: DuckDB 文件、SQLite 文件、PostgreSQL、MySQL。

常见排错

  • 无法打开 catalog——核对 catalog 文件位置,或 PostgreSQL/MySQL 连接信息。
  • 能列出表但读不到数据——catalog 已打开,但数据路径凭据缺失或无访问权限;检查对象存储密钥。
  • catalog 类型错误——元数据存储类型的选择必须与湖仓的创建方式一致。

相关

Datyo · Agent 原生的智能数据分析底座