Transfert via un réseau privé géré par Google

Console

L'option de réseau privé géré par Google est activée à l'aide d'une case à cocher à l'étape Choisir les paramètres de la création d'un job de transfert.

Pour créer un job à l'aide du réseau privé géré par Google :

1. Accédez à la page Service de transfert de stockage dans la console Cloud de Confiance .

   Accéder au service de transfert de stockage

2. Cliquez sur Créer un job de transfert. La page Créer une tâche de transfert s'affiche.

3. Sous Type de source, sélectionnez Amazon S3.

4. Sélectionnez Google Cloud Storage comme Type de destination.

5. Sélectionnez votre mode de programmation. Les transferts par lot sont exécutés de manière ponctuelle ou planifiée. Les transferts basés sur les événements surveillent en permanence la source et transfèrent les données lorsqu'elles sont ajoutées ou modifiées.

   Pour configurer un transfert en fonction des événements, suivez les instructions de la section Transferts en fonction des événements.

6. Cliquez sur Étape suivante.

7. Dans le champ Nom du bucket ou du dossier, saisissez le nom du bucket source.

   Le nom du bucket est celui qui apparaît dans la console AWS Management Console.

8. Sélectionnez votre méthode d'authentification Amazon Web Services (AWS). Pour en savoir plus, consultez Configurer l'accès à une source : Amazon S3.

   • Ressource secrète : sélectionnez cette option pour utiliser des identifiants Amazon enregistrés dans Secret Manager. Sélectionnez un code secret dans la liste ou saisissez-en un manuellement au format projects/PROJECT_NUMBER/secrets/SECRET_NAME.

   • Clé d'accès : saisissez votre clé d'accès dans le champ ID de clé d'accès et le secret associé à votre clé d'accès dans le champ Clé d'accès secrète.

   • Rôle IAM AWS pour la fédération d'identité : saisissez votre ARN dans le champ ARN du rôle IAM AWS, avec la syntaxe suivante :

     • Régions AWS standards :

       arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME

     • Régions AWS GovCloud :

       arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME

     Remplacez les éléments suivants :

     • AWS_ACCOUNT : ID du compte AWS sans tiret.
     • AWS_ROLE_NAME : nom du rôle AWS. Si votre organisation utilise des chemins d'accès pour organiser les rôles, incluez le chemin d'accès avec le nom du rôle. Exemple : developers/transfer_user.

     Pour en savoir plus sur les ARN, consultez ARN d'IAM.

9. S'il s'agit d'un transfert basé sur des événements, saisissez l'ARN de la file d'attente Amazon SQS, qui se présente au format suivant :

   • Régions AWS standards :

     arn:aws:sqs:us-east-1:1234567890:event-queue

   • Régions AWS GovCloud :

     arn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queue

10. Vous pouvez également choisir de filtrer les objets par préfixe, par date de dernière modification ou par classe de stockage. Si vous avez spécifié un dossier comme emplacement source, les filtres de préfixe sont relatifs à ce dossier. Par exemple, si votre source est my-test-bucket/path/, un filtre d'inclusion file inclut tous les fichiers commençant par my-test-bucket/path/file.

11. Cliquez sur Étape suivante.

12. Dans le champ Bucket ou dossier, saisissez le nom du bucket de destination et (éventuellement) le nom du dossier, ou cliquez sur Parcourir pour sélectionner un bucket dans une liste existante de buckets de votre projet actuel. Pour créer un bucket, cliquez sur Créer un bucket.

13. Cliquez sur Étape suivante.

14. Choisissez vos options de planification :

    Remarque : Le service de transfert de stockage affiche le calendrier des tâches de transfert dans votre fuseau horaire local, mais il les stocke au format UTC (Universal Time Coordinated). Si vous êtes concerné par l'heure d'été, il est possible que le calendrier soit modifié lors du passage à l'heure d'été ou du retour à l'heure d'hiver.

    1. Dans la liste déroulante Exécuter une fois, sélectionnez l'une des options suivantes :

       • Exécuter une fois : exécute un seul transfert, à partir de l'heure que vous sélectionnez.

       • Exécuter tous les jours : exécute un transfert tous les jours, à l'heure que vous sélectionnez.

         Vous pouvez saisir une date de fin ou laisser le champ Date de fin vide pour exécuter continuellement le transfert.

       • Exécuter chaque semaine : exécute un transfert chaque semaine, à partir de l'heure que vous sélectionnez.

       • Exécuter avec une fréquence personnalisée : exécute un transfert à la fréquence que vous sélectionnez. Vous pouvez choisir de répéter le transfert à des intervalles réguliers d'heures, de jours ou de semaines.

         Vous pouvez saisir une date de fin ou laisser le champ Date de fin vide pour exécuter continuellement le transfert.

       • Exécuter à la demande : aucune exécution ne sera déclenchée lorsque cette tâche de transfert sera créée. Vous devrez démarrer manuellement le job.

    2. Dans la liste déroulante À partir de maintenant, sélectionnez l'une des options suivantes :

       • À partir de maintenant : lance le transfert lorsque vous cliquez sur Créer.
       • À partir de : lance le transfert à la date et à l'heure que vous sélectionnez. Cliquez sur Calendrier pour afficher un calendrier et sélectionner la date de début.

15. Cliquez sur Étape suivante.

16. Sélectionnez les paramètres de la tâche de transfert.

    1. Dans le champ Description, saisissez une description du transfert. Nous vous recommandons de saisir une description pertinente et unique afin de pouvoir différencier les tâches.

    2. Vous pouvez éventuellement fournir un manifeste pour spécifier les objets exacts à transférer.

    3. Sous Options de métadonnées, sélectionnez la classe de stockage et le comportement de l'heure de création souhaités. Pour en savoir plus, consultez Conservation des métadonnées.

    4. Sous Écrasement, sélectionnez l'une des options suivantes :

       • Jamais : n'écrase pas un fichier de destination si le fichier source porte le même nom. Le fichier source est ignoré.
       • S'ils sont différents : écrase les fichiers de destination si le fichier source du même nom contient d'autres ETags ou valeurs de somme de contrôle.
       • Toujours : écrase toujours les fichiers de destination lorsque le fichier source porte le même nom, même s'ils sont identiques.

    5. Sous Dans quel contexte effectuer des suppressions, sélectionnez l'une des options suivantes :

       • Jamais : ne supprime jamais les fichiers de la source ni de la destination.

       • Supprimer les fichiers de la source après leur transfert : supprime les fichiers de la source après leur transfert vers la destination. Si un fichier source n'est pas transféré, par exemple parce qu'il existe déjà dans la destination, il n'est pas supprimé.

         Important : Si vous ne disposez pas d'une sauvegarde locale, cette option est une action irréversible.

       • Supprimer les fichiers de la destination s'ils ne figurent pas dans la source : si les fichiers du bucket Cloud Storage de destination ne figurent pas dans la source, supprimez-les du bucket.

         Cette option garantit que le bucket Cloud Storage de destination correspond exactement à votre source.

    6. Choisissez des options de routage réseau :

       • Sélectionnez Utiliser le réseau privé géré.

    7. Sous Options de journalisation, sélectionnez Activer la journalisation dans Cloud Logging si vous souhaitez générer un enregistrement précis des actions effectuées sur chaque fichier transféré. Des frais Cloud Logging s'appliquent. Pour en savoir plus, consultez Actions de transfert de journaux.

    8. Si vous le souhaitez, sélectionnez Suivre l'état de l'opération de transfert via les notifications Cloud Pub/Sub, puis choisissez votre sujet Pub/Sub et les événements qui déclenchent les notifications. Pour en savoir plus, consultez la section Notifications Pub/Sub.

    9. Sous Choisir un type de compte de service, sélectionnez l'identité à utiliser :

       • Agent de service du service de transfert de stockage : l'agent de service par défaut géré par Google se voit automatiquement accorder l'accès aux buckets source et de destination.
       • Agent de service géré par l'utilisateur : utilisez un compte de service personnalisé que vous avez créé. Avant de sélectionner cette option, assurez-vous que votre compte de service dispose d'un accès au bucket source, au bucket de destination et à Pub/Sub. Consultez Utiliser un agent de service géré par l'utilisateur.

17. Cliquez sur Créer pour créer la tâche de transfert.

CLI gcloud

gcloud CLI ne permet pas de configurer les transferts sur un réseau privé géré par Google. Utilisez la console Cloud de Confiance ou l'API REST pour activer cette option.

Bibliothèques clientes

Les bibliothèques clientes du service de transfert de stockage ne permettent pas de configurer les transferts via un réseau privé géré par Google. Utilisez la console Cloud de Confiance ou l'API REST pour activer cette option.

API REST

Pour configurer un transfert à l'aide de l'API REST, définissez le champ booléen transferSpec.awsS3DataSource.managedPrivateNetwork sur true dans la charge utile de votre requête JSON lorsque vous appelez transferJobs.create ou transferJobs.patch.

Requête HTTP

POST https://storagetransfer.googleapis.com/v1/transferJobs

Corps de la requête

{
  "description": "S3 to Cloud Storage over Google-managed private network",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "AWS_SOURCE_NAME",
      "managedPrivateNetwork": true,
      "awsAccessKey": {
        "accessKeyId": "AWS_ACCESS_KEY_ID",
        "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
      }
    },
    "gcsDataSink": {
      "bucketName": "GCS_SINK_NAME"
    },
    "transferOptions": {
      "overwriteWhen": "DIFFERENT",
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

Cet exemple utilise des identifiants d'accès AWS pour l'authentification. Pour en savoir plus sur l'utilisation de l'identité fédérée ou des identifiants dans Secret Manager, consultez Configurer l'accès à Amazon S3.