Skip to content

连接器总览

连接器定义 Datyo 如何接入外部数据源。创建数据集时,Datyo 会读取数据源的表结构和样本数据,供 Agent 理解。 连接凭据加密存储,保存后界面不会显示明文。

本章逐一详细说明每个受支持的连接器。建议先阅读下面的通用概念——它们适用于所有连接器,各连接器页面不再重复。

查询如何执行

Datyo 通过内置查询引擎执行分析查询。连接器分为两种执行模型:

  • 联邦查询——数据源被挂载进查询引擎、就地查询。来自不同联邦连接器的数据集可以在同一次分析中相互联接。 多数连接器采用此模型。
  • 原生查询——查询下推到数据源自身的引擎,仅返回结果。用于方言或协议无法直接挂载的数据源(例如日志服务和 部分云数仓)。原生数据集不能与其他数据源的数据集在同一次查询中联接。

每个连接器页面在「能力与限制」中标明其执行模型。

只读访问

连接器仅用于分析,不用于修改。任何写入、变更、删除数据的查询都会被拒绝。请尽量提供只读凭据——这足以支撑 全部功能,并将暴露面降到最低。

连接器目录

关系型数据库

连接器模型说明
MySQL联邦MySQL 及协议兼容引擎
PostgreSQL联邦PostgreSQL 及协议兼容引擎
SQL Server联邦Microsoft SQL Server
SQLite联邦SQLite 数据库文件

数据仓库

连接器模型说明
Snowflake联邦Snowflake 云数仓
BigQuery联邦Google BigQuery
MaxCompute原生阿里云 MaxCompute(ODPS)
DuckDB联邦DuckDB 数据库文件

湖仓与对象存储

连接器模型说明
S3(及兼容存储)联邦S3 兼容对象存储:AWS、阿里云 OSS、腾讯云 COS、华为云 OBS、Cloudflare R2、MinIO
Azure Blob联邦Microsoft Azure Blob 存储
Iceberg联邦通过 catalog 接入 Apache Iceberg 表
Delta Lake联邦Delta Lake 表
DuckLake联邦DuckLake 湖仓格式
Avro联邦Apache Avro 文件
空间数据联邦GeoParquet、GeoJSON、Shapefile

日志与 NoSQL

连接器模型说明
阿里云 SLS原生日志服务
MongoDB联邦文档型数据库

文件

连接器模型说明
文件上传联邦直接上传 CSV、Excel
Google Sheets联邦在线表格

对象存储访问凭据

多个连接器从对象存储读取数据——S3 连接器本身,以及数据文件存放在存储桶中的湖仓连接器(IcebergDelta LakeDuckLake)。它们共用同一套凭据字段,在此统一说明。

字段含义
云厂商预设选择预设会自动填入对应厂商的接入地址、区域和寻址方式。内置 AWS、阿里云 OSS、腾讯云 COS、华为云 OBS、Cloudflare R2、MinIO 及通用「其他」。
Endpoint存储服务地址。由预设填入,可按需调整其中的区域部分。
Region存储区域标识。
Access Key ID / Access Key Secret对目标存储桶具有读权限的凭据。Secret 加密存储。
URL 风格vhost(桶名在主机名中)或 path(桶名在路径中)。多数厂商用 vhost,MinIO 与 Cloudflare R2 需用 path。预设会自动设置。
启用 SSL是否使用 HTTPS。公有厂商均开启;MinIO 部署常为明文 HTTP。

请将密钥的权限收敛为对存放数据的存储桶或前缀的只读访问。

托管版与自托管:本地文件路径

四个连接器——SQLiteDuckDBAvro空间数据——既可从对象存储、也可从 文件系统路径读取文件。

  • 托管版(datyo.ai)中,不允许读取服务器端的文件系统路径。请使用对象存储模式(指向存储桶),或对单个文件 使用文件上传
  • 桌面版自托管部署中,在适用的环境下可使用本地文件系统路径。

各相关连接器页面在「能力与限制」中注明此点。

标注为「规划中」的数据源类型

控制台会以灰色列出一些标注为规划中的类型。其中若干目前已有可用的接入路径:

期望类型建议方案
ClickHouse开启其 PostgreSQL 协议端口,使用 PostgreSQL 连接器接入。
TiDB、StarRocks、Doris使用 MySQL 连接器——它们兼容 MySQL 协议。
CockroachDB使用 PostgreSQL 连接器。
阿里云 OSS使用 S3 连接器,预设选择「阿里云 OSS」。
Oracle先(如通过 CDC)镜像到 PostgreSQL,再经 PostgreSQL 接入。

对于未列出的数据源,请联系支持团队讨论方案。

相关

Datyo · Agent 原生的智能数据分析底座