Afficher les fiches et les échanges de données et s'y abonner

Dans BigQuery Sharing (anciennement Analytics Hub), vous pouvez découvrir des fiches et des échanges de données, et vous y abonner pour interroger des données partagées directement dans BigQuery sans les répliquer ni générer de coûts de stockage. L'abonnement crée des ensembles de données associés en lecture seule dans votre projet, ce qui vous permet d'analyser les tables et les vues partagées en même temps que vos ressources existantes.

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser les fiches, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser les fiches. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour utiliser les fiches :

  • Créer de nouveaux ensembles de données: bigquery.datasets.create sur le projet d'abonné
  • Interroger des ensembles de données : bigquery.jobs.create sur le projet d'abonné

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Découvrir des fiches

Pour découvrir des fiches publiques et privées, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Partage (Analytics Hub).

    Accéder à Partage (Analytics Hub)

  2. Cliquez sur Rechercher des fiches. Une boîte de dialogue contenant les fiches auxquelles vous pouvez accéder s'affiche.

  3. Pour filtrer les fiches par nom ou par description, saisissez le texte dans le champ Rechercher des fiches.

  4. Dans la section Filtres, filtrez les fiches à l'aide des champs suivants :

    • Fiches : indiquez si vous souhaitez afficher les fiches privées, les fiches publiques ou les fiches au sein de votre organisation.

    • Catégories : sélectionnez une ou plusieurs catégories.

    • Emplacement : sélectionnez un emplacement. Vous ne pouvez effectuer une recherche que par emplacement d'échange de données. Pour en savoir plus, consultez la section Régions où le service est disponible.

    • Fournisseur : sélectionnez un fournisseur de données. Certains fournisseurs de données nécessitent que vous demandiez l'accès à leurs ensembles de données commerciaux. Après avoir demandé l'accès, le fournisseur de données vous contacte pour partager ses ensembles de données.

  5. Parcourez les fiches filtrées.

Découvrir des échanges de données

Pour découvrir des échanges de données, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Partage (Analytics Hub).

    Accéder à Partage (Analytics Hub)

  2. Cliquez sur Rechercher des fiches. Une boîte de dialogue contenant les fiches et les échanges de données auxquels vous pouvez vous abonner s'affiche.

  3. Pour filtrer les échanges de données par nom ou par description, saisissez le texte dans le champ Rechercher des fiches.

  4. Dans la section Filtres, filtrez les échanges de salle blanche de données à l'aide des champs suivants :

    • Fiches : cochez la case Salles blanches pour afficher les salles blanches partagées.

    • Catégories : sélectionnez une ou plusieurs catégories.

    • Emplacement : sélectionnez un emplacement. Vous ne pouvez effectuer une recherche que par emplacement d'échange de données. Pour en savoir plus, consultez la section Régions où le service est disponible.

  5. Parcourez les data clean room filtrées.

S'abonner à des fiches

L'abonnement à une fiche vous donne un accès en lecture seule aux données de la fiche en créant un ensemble de données associé dans votre projet.

Pour vous abonner à une fiche, procédez comme suit :

Console

  1. Pour afficher une liste des fiches auxquelles vous avez accès, suivez les étapes décrites dans la section Découvrir des fiches.

  2. Dans la liste des fiches, cliquez sur celle à laquelle vous souhaitez vous abonner. Une boîte de dialogue contenant les détails de la fiche s'affiche. Elle indique si le fournisseur a activé la journalisation des e-mails des abonnés et répertorie les régions dans lesquelles la fiche est disponible.

  3. Si la fiche nécessite une approbation ou un achat (comme un ensemble de données commercial), cliquez sur Demander l'accès ou Acheter sur Marketplace. Sinon, cliquez sur S'abonner pour ouvrir la boîte de dialogue Créer un ensemble de données associé.

  4. Si l'API Analytics Hub n'est pas activée dans votre projet, cliquez sur Activer l'API Analytics Hub dans le message qui s'affiche.

  5. Dans la boîte de dialogue Créer un ensemble de données associé, spécifiez les détails suivants :

    • Projet : saisissez le nom du projet dans lequel vous souhaitez ajouter l' ensemble de données.
    • Nom de l'ensemble de données associé : saisissez un nom pour l'ensemble de données associé.
    • Région principale : sélectionnez la région dans laquelle vous souhaitez créer l' ensemble de données associé.

    • Facultatif : Régions de l'instance répliquée : sélectionnez les régions dans lesquelles vous souhaitez créer des instances répliquées de l'ensemble de données associé. La colocalisation de votre ensemble de données associé avec d'autres données minimise la sortie et facilite les jointures entre ensembles de données. Pour créer des instances répliquées, vous devez disposer de l'autorisation bigquery.datasets.update sur l'ensemble de données associé.

  6. Pour créer l'ensemble de données associé, cliquez sur Enregistrer.

API

Pour vous abonner à une fiche, appelez la projects.locations.dataExchanges.listings.subscribe méthode :

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Remplacez les éléments suivants :

  • PROJECT_ID : ID du Cloud de Confiance projet contenant la fiche à laquelle vous souhaitez vous abonner.
  • LOCATION : emplacement de la fiche.
  • DATAEXCHANGE_ID: ID d'échange de données de la fiche.
  • LISTING_ID: ID de la fiche à laquelle vous souhaitez vous abonner.
  • SUBSCRIBER_PROJECT_ID : ID du Cloud de Confiance projet d'abonné dans lequel vous souhaitez créer l'ensemble de données associé.
  • LINKED_DATASET_ID: ID que vous souhaitez attribuer à l'ensemble de données associé.
  • PRIMARY_REGION: région géographique principale dans laquelle vous souhaitez créer l'ensemble de données associé.

Dans le corps de la requête, spécifiez l'ensemble de données dans lequel vous souhaitez créer l' ensemble de données associé :

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Pour créer un abonnement avec des instances répliquées d'ensemble de données associé dans plusieurs régions, spécifiez la région principale dans le champ location. Pour spécifier des régions d'instances répliquées secondaires, ajoutez les régions au champ destinationDataset.replica_locations. Assurez-vous que toutes les régions spécifiées sont des régions dans lesquelles la fiche est disponible.

Si la requête aboutit, le corps de la réponse contient l' objet d'abonnement.

Si vous activez la journalisation des e-mails des abonnés pour l'échange de données ou la fiche avec le champ logLinkedDatasetQueryUserEmail, la réponse d'abonnement contient log_linked_dataset_query_user_email: true. Les données journalisées sont disponibles dans le job_principal_subject champ de la INFORMATION_SCHEMA.SHARED_DATASET_USAGE vue.

Si vous activez le partage de procédures stockées (aperçu), la réponse de la fiche contient stored_procedure_config: true.

S'abonner à des échanges de données

L'abonnement à un échange de données vous donne un accès en lecture seule aux données de l'échange de données en créant un ensemble de données associé dans votre projet.

Pour vous abonner à un échange de salle blanche de données, procédez comme suit :

Console

  1. Pour afficher la liste des salles blanches de données auxquelles vous avez accès, suivez les étapes décrites dans la section Découvrir des échanges de données.

  2. Dans la liste des salles blanches de données, cliquez sur l'échange de salle blanche de données auquel vous souhaitez vous abonner. Une boîte de dialogue contenant les détails de l'échange de salle blanche de données s'affiche.

  3. Cliquez sur S'abonner pour ouvrir la boîte de dialogue Ajouter une salle blanche de données au projet.

  4. Si l'API Analytics Hub n'est pas activée dans votre projet, cliquez sur Activer l'API Analytics Hub dans le message qui s'affiche.

  5. Dans la boîte de dialogue Ajouter une salle blanche de données au projet, spécifiez les détails suivants :

    • Destination: saisissez le nom du projet dans lequel vous souhaitez ajouter l' ensemble de données.
  6. Pour créer l'ensemble de données associé, cliquez sur Enregistrer.

API

Pour vous abonner à un échange de salle blanche de données, appelez la projects.locations.dataExchanges.subscribe méthode :

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

Remplacez les éléments suivants :

  • PROJECT_ID : ID du Cloud de Confiance projet contenant l'échange de données auquel vous souhaitez vous abonner.
  • LOCATION : emplacement de l'échange de données.
  • DATAEXCHANGE_ID : ID d'échange de données.
  • SUBSCRIBER_PROJECT_ID : ID du Cloud de Confiance projet d'abonné dans lequel vous souhaitez créer l'ensemble de données associé.
  • SUBSCRIPTION_ID: nom de l'abonnement à créer.
  • LINKED_DATASET_ID: ID que vous souhaitez attribuer à l'ensemble de données associé.
  • PRIMARY_REGION: région géographique principale dans laquelle vous souhaitez créer l'ensemble de données associé.

Dans le corps de la requête, spécifiez l'emplacement de destination, le nom de l'abonnement et l'ensemble de données dans lequel vous souhaitez créer l'ensemble de données associé :

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Si la requête aboutit, le corps de la réponse contient l' objet d'opération. Si vous avez activé la journalisation des e-mails des abonnés pour l'échange de données, la réponse d'abonnement contient log_linked_dataset_query_user_email: true.

Afficher les ensembles de données associés

Les ensembles de données associés s'affichent avec les autres ensembles de données dans la Cloud de Confiance console.

Procédez comme suit pour afficher les ensembles de données associés dans votre projet :

Console

  1. Dans la Cloud de Confiance console, accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur classique, cliquez sur la catégorie Explorateur classique :

    Bouton du volet Explorateur classique mis en évidence.

    Si le volet Explorateur classique n'est pas visible, cliquez sur Développer le volet de gauche pour ouvrir le volet.

  3. Dans le volet Explorateur classique, cliquez sur le nom du projet contenant l'ensemble de données associé Icône d'ensemble de données associé à Analytics Hub..

Vous pouvez également rechercher et afficher des ensembles de données associés avec Knowledge Catalog. Pour faire correspondre tous les ensembles de données associés BigQuery Sharing dans votre requête de recherche, utilisez le prédicat type=dataset.linked. Pour en savoir plus, consultez la section Syntaxe de recherche dans Knowledge Catalog.

Cloud Shell

Pour lister les ensembles de données associés dans votre projet à l'aide de l'outil de ligne de commande bq, exécutez la commande suivante dans Cloud Shell :

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

Remplacez PROJECT_ID par votre Cloud de Confiance projet ID.

Interroger des ensembles de données associés

Vous pouvez interroger les tables et les vues de vos ensembles de données associés de la même manière que vous interrogez n'importe quelle autre table BigQuery.

Pour interroger une table dans un ensemble de données associé, exécutez une requête SELECT qui fait référence à l'ID de votre projet, à l'ID de l'ensemble de données associé et au nom de la table :

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

Remplacez les éléments suivants :

  • PROJECT_ID: ID du Cloud de Confiance projet.
  • LINKED_DATASET_ID : ID de l'ensemble de données associé.
  • TABLE_NAME: nom de la table ou de la vue que vous souhaitez interroger.

Pour en savoir plus, consultez la section Exécuter des requêtes interactives.

Mettre à jour des ensembles de données associés

Les ressources d'un ensemble de données associé sont en lecture seule. Vous ne pouvez pas modifier les données ni les métadonnées des ressources des ensembles de données associés, ni spécifier des autorisations pour des ressources individuelles.

Vous ne pouvez mettre à jour que la description et les libellés de vos ensembles de données associés. Les modifications apportées à un ensemble de données associé n'affectent pas les ensembles de données sources ou partagés.

Pour mettre à jour la description et les libellés d'un ensemble de données associé, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur, cliquez sur Explorateur:

    Bouton du volet Explorateur mis en évidence.

  3. Dans le volet Explorateur, développez le nom de votre projet, cliquez sur Ensembles de données, et cliquez sur le nom de l'ensemble de données associé pour l'ouvrir.

  4. Dans le volet d'informations, cliquez sur Modifier les détails , puis configurez les options suivantes :

    1. Pour ajouter des libellés, consultez la section Ajouter un libellé à un ensemble de données.
    2. Pour activer le classement, développez Options avancées et procédez comme suit :

      1. Sélectionnez Activer le classement par défaut.
      2. Dans la liste Classement par défaut, sélectionnez une option.
  5. Pour enregistrer vos modifications, cliquez sur Enregistrer.

Afficher les métadonnées de table

Pour afficher les métadonnées de table d'un ensemble de données associé, interrogez la INFORMATION_SCHEMA.TABLES vue :

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

Remplacez LINKED_DATASET_ID par l'ID de votre ensemble de données associé.

Se désabonner d'ensembles de données associés ou les supprimer

Pour vous désabonner d'un ensemble de données, supprimez l'ensemble de données associé. La suppression d'un ensemble de données associé ne supprime pas l'ensemble de données source.

Vous ne pouvez pas récupérer un ensemble de données associé après l'avoir supprimé. Toutefois, vous pouvez recréer l'ensemble de données associé supprimé à tout moment en vous réabonnant à la fiche à nouveau.

Si un éditeur supprime votre abonnement, votre ensemble de données associé est dissocié de l' ensemble de données partagé. Comme il s'agit d'une action initiée par l'éditeur sur une ressource appartenant à l'abonné, l'ensemble de données associé reste dans votre projet à l'état dissocié. Vous pouvez supprimer l'ensemble de données dissocié en le supprimant.

Pour supprimer un ensemble de données associé, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur, cliquez sur Explorateur:

    Bouton du volet Explorateur mis en évidence.

  3. Dans le volet Explorateur, développez le nom de votre projet, cliquez sur Ensembles de données, et cliquez sur le nom de l'ensemble de données associé pour l'ouvrir.

  4. Cliquez sur Supprimer.

  5. Dans la boîte de dialogue Supprimer l'ensemble de données associé ?, confirmez la suppression en saisissant delete.

  6. Cliquez sur Supprimer.

Étape suivante