本页面介绍如何创建和启动转移作业。
如需查看 Storage Transfer Service 是否支持您的来源和目标位置(也称为接收器),请参阅支持的来源和接收器。
代理和代理池
根据您的来源和目标位置,您可能需要在有权访问您的来源或目标位置的机器上创建和配置代理池并安装代理。
- 在 Cloud Storage 存储桶之间转移数据不需要代理和代理池。
- 如果您的转移作业的来源或目标位置是文件系统,或者来源是兼容 S3 的存储空间,则需要具有代理和代理池。如需查看相关说明,请参阅管理代理池。
准备工作
在配置转移作业之前,请确保您已配置好以下访问权限:
- 对于用户和服务账号:
- 对源数据和目标位置的访问权限。
如果您使用 gcloud 命令,请安装 gcloud CLI。
创建传输作业
Cloud de Confiance 控制台
前往 Cloud de Confiance 控制台中的 Storage Transfer Service 页面。
点击创建转移作业。 系统随即会显示创建转移作业页面。
选择一个数据源:
Cloud Storage
您的用户账号必须具有 storage.buckets.get 权限才能选择来源和目标存储桶。或者,您可以直接输入存储桶的名称。如需了解详情,请参阅排查访问权限问题。
在来源类型下,选择 Cloud Storage。
选择目标类型,然后点击下一步。
执行以下任一操作,选择一个存储桶,您也可以在该存储桶中选择一个文件夹:
在存储桶或文件夹字段中输入一个现有 Cloud Storage 存储桶的名称和路径,不加前缀
gs://。例如my-test-bucket/path/to/files。如需从另一个项目指定 Cloud Storage 存储桶,请在存储桶名称字段中准确输入名称。通过点击浏览,在您的项目中选择现有存储桶的列表,然后选择一个存储桶。
点击浏览时,您可以通过点击项目 ID 并选择新项目 ID 和存储桶来选择其他项目中的存储桶。
如需创建新存储桶,请点击
创建新存储桶。
如果您指定文件夹中的路径,请参阅指定来源路径和目标路径,了解重要详情。
- (可选)选择按前缀或上次修改日期过滤对象。 如果您将文件夹指定为来源位置,则前缀过滤条件是相对于该文件夹的。例如,如果您的来源是
my-test-bucket/path/,则包含过滤器file会包含所有以my-test-bucket/path/file开头的文件。 点击下一步。
兼容 S3 的存储空间
文件系统
在来源类型下,选择 POSIX 文件系统。
选择目标类型,然后点击下一步。
您可以选择一个现有代理池,也可以选择创建代理池,然后按照说明创建一个新池。
指定文件系统目录的完全限定路径。 如果您指定根目录以外的路径,请参阅指定来源路径和目标路径,了解重要详情。
点击下一步。
选择目标:
Cloud Storage
在存储桶或文件夹字段中,输入目标存储桶以及(可选)文件夹名称,或点击浏览从当前项目的现有存储桶列表中选择一个存储桶。如需创建新存储桶,请点击
创建新存储桶。如果您在存储桶中指定路径,请参阅指定来源路径和目标路径,了解重要详情。
点击下一步。
选择时间安排选项:
从运行一次下拉列表中,选择以下选项之一:
运行一次:从您选择的时间开始运行一次转移作业。
每天运行:每天从您选择的时间开始,每天运行转移作业。
您可以输入可选的结束日期,或者将结束日期留空以持续运行转移作业。
每周运行:从您选择的时间开始,每周运行一次转移作业。
按自定义频率运行:按您选择的频率运行转移作业。您可以选择按照小时、天或周的固定间隔来重复运行转移作业。
您可以输入可选的结束日期,或者将结束日期留空以持续运行转移作业。
从立即开始下拉列表中,选择以下选项之一:
立即开始:点击创建后开始转移作业。
开始日期:在您选择的日期和时间开始转移作业。点击日历,以显示一个日历来选择开始日期。
点击下一步。
选择转移作业的设置。某些选项仅适用于特定来源/接收器组合。
在说明字段中,输入转移作业的说明。最佳做法是输入有意义且唯一的说明,以便区分作业。
在元数据选项下,您可以选择使用默认选项,也可以点击查看和选择选项为所有受支持的元数据指定值。如需了解详情,请参阅元数据保留。
在何时覆盖下,选择以下选项之一:
如果不同:如果同名的源文件具有不同的 ETag 或校验和值,则覆盖目标文件。
始终:当源文件同名时,即使源文件相同,也始终覆盖目标文件。
在何时删除下,选择以下选项之一:
永不:永不从源或目标中删除文件。
转移后删除来源位置的文件:文件转移到目标位置后,从来源位置删除文件。如果源文件未传输(例如,因为目标位置中已存在该文件),则不会删除源文件。
如果文件不在数据源中则从目标位置删除文件:如果目标 Cloud Storage 存储桶中的文件也不在数据源中,则从 Cloud Storage 存储桶中删除文件。
此选项可确保目标 Cloud Storage 存储桶与您的数据源完全匹配。
对于 Cloud Storage 存储桶之间的转移作业,请选择是否转移托管式文件夹。
在通知选项下,您可以选择 Pub/Sub 主题以及要通知的事件。如需了解详情,请参阅 Pub/Sub 通知。
如果您要将服务代理权限委托给用户代管式服务账号,请选择该选项,然后输入服务账号电子邮件地址,格式为
SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com。点击创建。
文件系统
您可以选择一个现有代理池,也可以选择创建代理池,然后按照说明创建一个新池。
指定目标目录的完全限定路径。 如果您指定了根目录以外的路径,请参阅指定来源路径和目标路径,了解重要详情。如果您指定的路径不存在,转移代理会在转移过程中尝试在目标文件系统上创建目录结构。代理必须在父级目录中具有必要的写入权限。
点击下一步。
选择时间安排选项:
从运行一次下拉列表中,选择以下选项之一:
运行一次:从您选择的时间开始运行一次转移作业。
每天运行:每天从您选择的时间开始,每天运行转移作业。
您可以输入可选的结束日期,或者将结束日期留空以持续运行转移作业。
每周运行:从您选择的时间开始,每周运行一次转移作业。
按自定义频率运行:按您选择的频率运行转移作业。您可以选择按照小时、天或周的固定间隔来重复运行转移作业。
您可以输入可选的结束日期,或者将结束日期留空以持续运行转移作业。
从立即开始下拉列表中,选择以下选项之一:
立即开始:点击创建后开始转移作业。
开始日期:在您选择的日期和时间开始转移作业。点击日历,以显示一个日历来选择开始日期。
点击下一步。
指定是否使用清单文件。
选择是否保留元数据、何时覆盖以及何时删除来源或目标位置的文件。
选择日志记录选项。
在通知选项下,您可以选择 Pub/Sub 主题以及要通知的事件。如需了解详情,请参阅 Pub/Sub 通知。
如果您要将服务代理权限委托给用户代管式服务账号,请选择该选项,然后输入服务账号电子邮件地址,格式为
SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com。要创建转移作业,请点击创建。
gcloud CLI
如需创建新的转移作业,请使用 gcloud transfer jobs create 命令。除非指定了时间表或 --do-not-run,否则创建新作业时会启动指定的转移作业。
gcloud transfer jobs create \
SOURCE DESTINATION
替换以下内容:
SOURCE 是此转移作业的数据源。每个来源的格式可以为:
- Cloud Storage:
gs://BUCKET_NAME。如需从特定文件夹进行转移,请指定gs://BUCKET_NAME/FOLDER_PATH/,包括尾部斜杠。 - 兼容 S3 的存储空间:
s3://BUCKET_NAME。存储桶名称是相对于端点分配的。例如,如果您的数据位于https://us-east-1.example.com/folder1/bucket_a,请输入s3://folder1/bucket_a。 - POSIX 文件系统:
posix:///PATH。必须是以代理宿主机根目录开头的绝对路径。
如果您指定路径或文件夹值,请参阅指定来源路径和目标路径,了解重要详情。
- Cloud Storage:
DESTINATION 可为以下项之一:
- Cloud Storage:
gs://BUCKET_NAME。如需转移到特定目录,请指定gs://BUCKET_NAME/FOLDER_PATH/,包括尾部斜杠。 - POSIX 文件系统:
posix:///PATH。必须是以代理宿主机根目录开头的绝对路径。 如果您指定的路径不存在,转移代理会在转移过程中尝试在目标文件系统上创建目录结构。代理必须在父级目录中具有必要的写入权限。
如果您指定路径或文件夹值,请参阅指定来源路径和目标路径,了解重要详情。
- Cloud Storage:
如果您的转移作业需要使用转移代理,则您可以使用以下选项:
--source-agent-pool指定要用于此转移作业的来源代理池。如果您从文件系统进行转移,则必须指定该选项。--destination-agent-pool指定要用于此转移作业的目标代理池。如果您要转移到文件系统,则必须指定该选项。--intermediate-storage-path是 Cloud Storage 存储桶的路径,格式为gs://my-intermediary-bucket。如果您要在两个文件系统之间进行转移,则必须指定该选项。如需详细了解如何创建中间存储桶,请参阅创建 Cloud Storage 存储桶作为中间存储桶。
其他选项包括:
--do-not-run可阻止 Storage Transfer Service 在提交命令后运行作业。如需运行作业,请更新作业以添加时间表,或使用jobs run来手动启动作业。--manifest-file指定 Cloud Storage 中 CSV 文件的路径,该文件包含要从来源转移的文件的列表。如需了解清单文件的格式,请参阅使用清单转移特定文件或对象。作业信息:您可以指定
--name和--description。时间表:您可以指定
--schedule-starts、--schedule-repeats-every和--schedule-repeats-until或--do-not-run。对象条件:您可以使用条件确定要转移的对象。这些条件包括
--include-prefixes和--exclude-prefixes以及--include-modified-[before | after]-[absolute | relative]中基于时间的条件。 如果您在来源中指定了文件夹,则前缀过滤条件是相对于该文件夹而言的。如需了解详情,请参阅按前缀过滤源对象。涉及文件系统的转移不支持对象条件。
转移选项:指定是否覆盖目标文件(
--overwrite-when=different或always),以及是否要在转移过程中或之后删除某些文件(--delete-from=destination-if-unique或source-after-transfer);指定要保留的元数据值 (--preserve-metadata);(可选)为转移的对象设置存储类别 (--custom-storage-class)。通知:使用
--notification-pubsub-topic、--notification-event-types和--notification-payload-format为转移作业配置 Pub/Sub 通知。Cloud Logging:使用
--log-actions和--log-action-states为转移作业启用 Cloud Logging(仅无代理转移作业支持find)。如需了解详情,请参阅适用于 Storage Transfer Service 的 Cloud Logging。对于文件系统转移作业,您还可以使用--enable-posix-transfer-logs启用文件系统转移日志。
从兼容 S3 的来源转移时,您还可以使用以下选项:
--source-endpoint(必需)指定存储系统的端点。例如s3.example.com。请向您的提供商确认正确的格式。请勿指定协议(http://或https://)。--source-signing-region指定签名请求的区域。如果您的存储提供商不需要签名区域,请省略此标志。--source-auth-method指定要使用的身份验证方法。有效值为AWS_SIGNATURE_V2或AWS_SIGNATURE_V4。如需了解详情,请参阅 Amazon 的 SigV4 和 SigV2 文档。--source-request-model指定要使用的寻址样式。有效值为PATH_STYLE或VIRTUAL_HOSTED_STYLE。 路径样式使用格式https://s3.example.com/BUCKET_NAME/KEY_NAME。虚拟托管样式使用格式https://BUCKET_NAME.s3.example.com/KEY_NAME。--source-network-protocol指定代理应该为此作业使用的网络协议。有效值为HTTP或HTTPS。--source-list-api指定用于从存储桶返回对象的 S3 Listing API 的版本。有效值为LIST_OBJECTS或LIST_OBJECTS_V2。如需了解详情,请参阅 Amazon 的 ListObjectsV2 和 ListObjects 文档。
如需查看所有选项,请运行 gcloud transfer jobs create --help 或参阅 gcloud 参考文档。
示例
兼容 S3 的存储空间到 Cloud Storage
请参阅从兼容 S3 的存储空间转移到 Cloud Storage。
文件系统到 Cloud Storage
Cloud Storage 到文件系统
如需从 Cloud Storage 存储桶转移到文件系统,请指定以下项。
gcloud transfer jobs create \
gs://my-storage-bucket posix:///tmp/destination \
--destination-agent-pool=my-destination-agent-pool
文件系统到文件系统
如需在两个文件系统之间进行转移,您必须指定来源代理池、目标代理池以及一个数据通过其进行传递的中间 Cloud Storage 存储桶。
如需详细了解中间存储桶,请参阅创建 Cloud Storage 存储桶作为中间存储桶。
然后,在调用 transfer jobs create 时指定这 3 个资源:
gcloud transfer jobs create \
posix:///tmp/source/on/systemA posix:///tmp/destination/on/systemB \
--source-agent-pool=source_agent_pool \
--destination-agent-pool=destination_agent_pool \
--intermediate-storage-path=gs://my-intermediary-bucket
REST
以下示例展示了如何通过 REST API 使用 Storage Transfer Service。
使用 Storage Transfer Service API 配置或编辑转移作业时,必须采用世界协调时间 (UTC)。如需详细了解如何指定转移作业的时间表,请参阅时间表。
在 Cloud Storage 存储分区之间传输数据
本示例演示了如何将文件从一个 Cloud Storage 存储桶传输到另一个 Cloud Storage 存储桶。
使用 transferJobs create 发出请求:
POST https://storagetransfer.s3nsapis.fr/v1/transferJobs { "description": "YOUR DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "schedule": { "scheduleStartDate": { "day": 1, "month": 1, "year": 2015 }, "startTimeOfDay": { "hours": 1, "minutes": 1 } }, "transferSpec": { "gcsDataSource": { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": true } } }
200 OK { "creationTime": "2015-01-01T01:01:00.000000000Z", "description": "YOUR DESCRIPTION", "name": "transferJobs/JOB_ID", "status": "ENABLED", "lastModificationTime": "2015-01-01T01:01:00.000000000Z", "projectId": "PROJECT_ID", "schedule": { "scheduleStartDate": { "day": 1, "month": 1, "year": 2015 }, "startTimeOfDay": { "hours": 1, "minutes": 1 } }, "transferSpec": { "gcsDataSource": { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": true } } }
从文件系统转移
客户端库
以下示例展示了如何通过 Go、Java、Node.js 和 Python 以编程方式使用 Storage Transfer Service。
以编程方式配置或修改转移作业时,必须采用世界协调时间 (UTC)。如需详细了解如何指定转移作业的时间表,请参阅时间表。
如需详细了解 Storage Transfer Service 客户端库,请参阅 Storage Transfer Service 客户端库使用入门。
在 Cloud Storage 存储分区之间传输数据
本示例演示了如何将文件从一个 Cloud Storage 存储桶传输到另一个 Cloud Storage 存储桶。
在运行代码示例之前,请将 GOOGLE_CLOUD_UNIVERSE_DOMAIN 环境变量设置为 s3nsapis.fr。
Go
Java
想要寻找较早的示例?请参阅 Storage Transfer Service 迁移指南。
Node.js
Python
想要寻找较早的示例?请参阅 Storage Transfer Service 迁移指南。
从文件系统转移
指定来源路径和目标路径
借助来源路径和目标路径,您可以转移位于特定前缀下的数据,并控制这些数据在目标位置中的放置位置。
- 来源路径:充当转移作业的根目录。系统只会转移此路径下的对象,并且在将对象复制到目标位置之前,会从对象名称的开头移除源路径。
- 目标路径:充当目标位置所有对象名称的前缀。对于文件系统转移作业,指定对象转移到的文件夹。
可以为所有数据源指定来源路径。
示例
仅指定目标路径
假设您在名为 bucketA 的 Cloud Storage 存储桶的根目录下有 object.txt。
如果您转移到 bucketB 并设置了名为 alpha/ 的目标路径,则您的文件会复制到 bucketB/alpha/object.txt。
同时指定来源路径和目标路径
假设在两个 Cloud Storage 存储桶之间进行转移:
- 来源存储桶:
bucketA,路径为alpha/ - 目标存储桶:
bucketB,路径为bravo/
gs://bucketA/alpha/object 处的对象会转移到 gs://bucketB/bravo/object。
系统会从对象名称中移除源路径 alpha/,仅保留 object,并在其前面加上目标路径 bravo/。
指定来源路径
如需在创建转移作业时指定来源路径,请执行以下操作:
- 在 Cloud de Confiance 控制台中,在存储桶或文件夹字段中输入路径。
- 使用 gcloud CLI 时,请将路径指定为来源 URI 的一部分。例如
gs://SOURCE_BUCKET/SOURCE_PATH/。 - 使用 REST API 或客户端库,将
path字段添加到数据源规范中。例如,TransferSpec规范中的gcsDataSource字段。文件系统转移作业使用rootDirectory,而不是path。
指定目标路径
如需在创建转移作业时指定目标路径,请执行以下操作:
- 在 Cloud de Confiance 控制台中,在存储桶或文件夹字段中输入路径。
- 使用 gcloud CLI 时,请将路径指定为目标 URI 的一部分。例如
gs://DESTINATION_BUCKET/DESTINATION_PATH/。 - 使用 REST API 或客户端库,将
path字段添加到数据接收器规范中。例如,TransferSpec规范中的gcsDataSink字段。文件系统转移作业使用rootDirectory,而不是path。