S3 及 S3 兼容对象存储
直接从 S3 兼容对象存储读取数据文件——AWS S3、阿里云 OSS、腾讯云 COS、华为云 OBS、Cloudflare R2、MinIO。文件就地 读取,可与其他连接器的数据集联接。
适用场景
- 导出到存储桶的分析文件(Parquet、CSV、JSON)。
- 需要作为一张表整体读取的一组分区文件。
支持的文件格式
- Parquet、CSV、JSON 直接读取。
- 支持 glob 模式匹配多个文件,将分区导出作为单张表分析,如
exports/2026/*.parquet。
准备工作
创建对存放数据的存储桶或前缀具有只读访问的凭据(Access Key ID 与 Secret)。对于 MinIO 与自建部署,请留意 端点地址及其是否为明文 HTTP。
连接配置
提供对象存储访问凭据:选择云厂商预设(AWS、阿里云 OSS、腾讯云 COS、华为云 OBS、 Cloudflare R2、MinIO 或其他),预设会填入 Endpoint、Region、URL 风格与 SSL 设置;再提供访问密钥,并填写:
| 字段 | 必填 | 说明 |
|---|---|---|
| Bucket | 是 | 存放文件的存储桶。 |
数据的对象路径或 glob 在定义数据集时指定。
关于寻址与 SSL
- URL 风格——
vhost将桶名置于主机名中(多数公有厂商);path将桶名置于路径中(MinIO 与 Cloudflare R2 需要)。预设会正确设置,仅在自定义部署时才需更改。 - 启用 SSL——公有厂商均开启。MinIO 常为明文 HTTP,仅此类部署才关闭 SSL。
测试与保存
填写字段并点击测试连接。成功后定义要读取的对象路径或 glob。
能力与限制
- 执行模型: 联邦。文件可与其他连接器的数据集联接。
- 访问: 只读。
- 厂商: 任何 S3 兼容厂商都可通过预设机制接入,无需为每个厂商设单独连接器。阿里云 OSS 即使用本连接器并选择 「阿里云 OSS」预设。
常见排错
- 访问被拒——确认密钥对存储桶与前缀有读权限,且 Region 与桶所在区域一致。
- 端点不可达——检查端点地址;MinIO 请确认端口及 HTTP/HTTPS 设置。
- 某厂商需要 path 风格——MinIO 与 Cloudflare R2 需将 URL 风格设为
path,预设会自动处理。
相关
- 连接器总览 · Azure Blob · Iceberg · Delta Lake