连接器总览
连接器定义 Datyo 如何接入外部数据源。创建数据集时,Datyo 会读取数据源的表结构和样本数据,供 Agent 理解。 连接凭据加密存储,保存后界面不会显示明文。
本章逐一详细说明每个受支持的连接器。建议先阅读下面的通用概念——它们适用于所有连接器,各连接器页面不再重复。
查询如何执行
Datyo 通过内置查询引擎执行分析查询。连接器分为两种执行模型:
- 联邦查询——数据源被挂载进查询引擎、就地查询。来自不同联邦连接器的数据集可以在同一次分析中相互联接。 多数连接器采用此模型。
- 原生查询——查询下推到数据源自身的引擎,仅返回结果。用于方言或协议无法直接挂载的数据源(例如日志服务和 部分云数仓)。原生数据集不能与其他数据源的数据集在同一次查询中联接。
每个连接器页面在「能力与限制」中标明其执行模型。
只读访问
连接器仅用于分析,不用于修改。任何写入、变更、删除数据的查询都会被拒绝。请尽量提供只读凭据——这足以支撑 全部功能,并将暴露面降到最低。
连接器目录
关系型数据库
| 连接器 | 模型 | 说明 |
|---|---|---|
| MySQL | 联邦 | MySQL 及协议兼容引擎 |
| PostgreSQL | 联邦 | PostgreSQL 及协议兼容引擎 |
| SQL Server | 联邦 | Microsoft SQL Server |
| SQLite | 联邦 | SQLite 数据库文件 |
数据仓库
| 连接器 | 模型 | 说明 |
|---|---|---|
| Snowflake | 联邦 | Snowflake 云数仓 |
| BigQuery | 联邦 | Google BigQuery |
| MaxCompute | 原生 | 阿里云 MaxCompute(ODPS) |
| DuckDB | 联邦 | DuckDB 数据库文件 |
湖仓与对象存储
| 连接器 | 模型 | 说明 |
|---|---|---|
| S3(及兼容存储) | 联邦 | S3 兼容对象存储:AWS、阿里云 OSS、腾讯云 COS、华为云 OBS、Cloudflare R2、MinIO |
| Azure Blob | 联邦 | Microsoft Azure Blob 存储 |
| Iceberg | 联邦 | 通过 catalog 接入 Apache Iceberg 表 |
| Delta Lake | 联邦 | Delta Lake 表 |
| DuckLake | 联邦 | DuckLake 湖仓格式 |
| Avro | 联邦 | Apache Avro 文件 |
| 空间数据 | 联邦 | GeoParquet、GeoJSON、Shapefile |
日志与 NoSQL
| 连接器 | 模型 | 说明 |
|---|---|---|
| 阿里云 SLS | 原生 | 日志服务 |
| MongoDB | 联邦 | 文档型数据库 |
文件
| 连接器 | 模型 | 说明 |
|---|---|---|
| 文件上传 | 联邦 | 直接上传 CSV、Excel |
| Google Sheets | 联邦 | 在线表格 |
对象存储访问凭据
多个连接器从对象存储读取数据——S3 连接器本身,以及数据文件存放在存储桶中的湖仓连接器(Iceberg、 Delta Lake、DuckLake)。它们共用同一套凭据字段,在此统一说明。
| 字段 | 含义 |
|---|---|
| 云厂商预设 | 选择预设会自动填入对应厂商的接入地址、区域和寻址方式。内置 AWS、阿里云 OSS、腾讯云 COS、华为云 OBS、Cloudflare R2、MinIO 及通用「其他」。 |
| Endpoint | 存储服务地址。由预设填入,可按需调整其中的区域部分。 |
| Region | 存储区域标识。 |
| Access Key ID / Access Key Secret | 对目标存储桶具有读权限的凭据。Secret 加密存储。 |
| URL 风格 | vhost(桶名在主机名中)或 path(桶名在路径中)。多数厂商用 vhost,MinIO 与 Cloudflare R2 需用 path。预设会自动设置。 |
| 启用 SSL | 是否使用 HTTPS。公有厂商均开启;MinIO 部署常为明文 HTTP。 |
请将密钥的权限收敛为对存放数据的存储桶或前缀的只读访问。
托管版与自托管:本地文件路径
四个连接器——SQLite、DuckDB、Avro、空间数据——既可从对象存储、也可从 文件系统路径读取文件。
- 在托管版(datyo.ai)中,不允许读取服务器端的文件系统路径。请使用对象存储模式(指向存储桶),或对单个文件 使用文件上传。
- 在桌面版和自托管部署中,在适用的环境下可使用本地文件系统路径。
各相关连接器页面在「能力与限制」中注明此点。
标注为「规划中」的数据源类型
控制台会以灰色列出一些标注为规划中的类型。其中若干目前已有可用的接入路径:
| 期望类型 | 建议方案 |
|---|---|
| ClickHouse | 开启其 PostgreSQL 协议端口,使用 PostgreSQL 连接器接入。 |
| TiDB、StarRocks、Doris | 使用 MySQL 连接器——它们兼容 MySQL 协议。 |
| CockroachDB | 使用 PostgreSQL 连接器。 |
| 阿里云 OSS | 使用 S3 连接器,预设选择「阿里云 OSS」。 |
| Oracle | 先(如通过 CDC)镜像到 PostgreSQL,再经 PostgreSQL 接入。 |
对于未列出的数据源,请联系支持团队讨论方案。