Skip to content

S3 及 S3 兼容对象存储

直接从 S3 兼容对象存储读取数据文件——AWS S3、阿里云 OSS、腾讯云 COS、华为云 OBS、Cloudflare R2、MinIO。文件就地 读取,可与其他连接器的数据集联接。

适用场景

  • 导出到存储桶的分析文件(Parquet、CSV、JSON)。
  • 需要作为一张表整体读取的一组分区文件。

支持的文件格式

  • ParquetCSVJSON 直接读取。
  • 支持 glob 模式匹配多个文件,将分区导出作为单张表分析,如 exports/2026/*.parquet

准备工作

创建对存放数据的存储桶或前缀具有只读访问的凭据(Access Key ID 与 Secret)。对于 MinIO 与自建部署,请留意 端点地址及其是否为明文 HTTP。

连接配置

提供对象存储访问凭据:选择云厂商预设(AWS、阿里云 OSS、腾讯云 COS、华为云 OBS、 Cloudflare R2、MinIO 或其他),预设会填入 Endpoint、Region、URL 风格与 SSL 设置;再提供访问密钥,并填写:

字段必填说明
Bucket存放文件的存储桶。

数据的对象路径或 glob 在定义数据集时指定。

关于寻址与 SSL

  • URL 风格——vhost 将桶名置于主机名中(多数公有厂商);path 将桶名置于路径中(MinIOCloudflare R2 需要)。预设会正确设置,仅在自定义部署时才需更改。
  • 启用 SSL——公有厂商均开启。MinIO 常为明文 HTTP,仅此类部署才关闭 SSL。

测试与保存

填写字段并点击测试连接。成功后定义要读取的对象路径或 glob。

能力与限制

  • 执行模型: 联邦。文件可与其他连接器的数据集联接。
  • 访问: 只读。
  • 厂商: 任何 S3 兼容厂商都可通过预设机制接入,无需为每个厂商设单独连接器。阿里云 OSS 即使用本连接器并选择 「阿里云 OSS」预设。

常见排错

  • 访问被拒——确认密钥对存储桶与前缀有读权限,且 Region 与桶所在区域一致。
  • 端点不可达——检查端点地址;MinIO 请确认端口及 HTTP/HTTPS 设置。
  • 某厂商需要 path 风格——MinIO 与 Cloudflare R2 需将 URL 风格设为 path,预设会自动处理。

相关

Datyo · Agent 原生的智能数据分析底座